Mikrotik virtual KVM

kdavid

Zdar hosi,

chci na jeden HP server se dvema CPU nahodit x86 mikrotika a na nem navirtualizovat pres interne KVM mikrotiku dalsich 6 routru.

Jaky mate na to nazor? Jaka je podpora ovladacu pro virtualni sitovku. Davneji jsem to zkousel, ale natahovala se odezva pres virtual interface o 1-3ms tak sme od toho upustili.

Dalsi problem je ze davneji se nedal mk nainstalovat na raid1 tak to muselo bezet jen na jednem disku. Zmenilo se neco?

Jaky HW odporucite pro vetsi aplikace at to ma dakou rezervu? Samozrejme se musi jednat o 10 gig sitovky idealne opticke. Preferuji server s 2 cpu a 2x zdroj.

Dik

dave

cheprer

Hele měl jsem to v provozu nějakou chvíli na vm a kvm a chodilo to virtuální stovky taky, ale přišlo mi že to neadekvátní vytěžování cpu a nemelo to takový výkon. Ale přesněji sem to potom neřešil. Bylo to dočasné.

kdavid

Hele měl jsem to v provozu nějakou chvíli na vm a kvm a chodilo to virtuální stovky taky, ale přišlo mi že to neadekvátní vytěžování cpu a nemelo to takový výkon. Ale přesněji sem to potom neřešil. Bylo to dočasné.

Ja myslim normalnou instalaci x86 mikrotiku na zelezo. Nasledne zas virtualizaci dalsich mikrotiku pod hlavnym mikrotik systemem za pomoci zabudovaneho kvm. :)

cheprer

Hele měl jsem to v provozu nějakou chvíli na vm a kvm a chodilo to virtuální stovky taky, ale přišlo mi že to neadekvátní vytěžování cpu a nemelo to takový výkon. Ale přesněji sem to potom neřešil. Bylo to dočasné.

Ja myslim normalnou instalaci x86 mikrotiku na zelezo. Nasledne zas virtualizaci dalsich mikrotiku pod hlavnym mikrotik systemem za pomoci zabudovaneho kvm. :)

Jo tak... Tak to jsem nezkoušel. :-)

Tak to hodně zdaru.

hapi

skuz CHR do virtuálů. Na jejich KVM se vykašli.

radik

Jen tak ze zvedavosti, na co to potrebujes (rada veci lze resit pomoci VRF a pripadne pokud je potreba vice instanci OSPF/BGP pro kazdy VRF)?

Vseobecne se nedoporucuje virtualizovat routery (proc netusim, ale je to i doporuceni napr. od VMware). Asi na to nemaji udelany buffery, aby mohli prehazovat packety (je to prece jen jinaci ukon, nez kdyz se generuji data na serveru)

hol

Presne tak, vykon je bidnej. Meli jsme to leta tak, ze kvm jelo na linuxu a nad tim virtualne MK. Nekde kolem 400Mbit route, shaping atd jsme narazili na strop.

Ze by to bylo v kvm v mk jiny bych necekal, spis horsi.

rsaf

Je škoda, že Mikrotik zaříznul metarouter (resp. nepodporují multi-core CPU).

Máme na síti připojeno několik subjektů, které mají více budov, zajišťujeme jim IT služby... Jejich LAN provozujeme u nás ve VLANě a samozřejmě každý z těch subjektů potřebuje router do internetu (třeba i vč. VPN...). Dnes jich pár máme na RB450G (jeden z mála použitelných routerů pro tento účel), ale hodilo by se nám něco výkonnějšího / většího...

Ve vmware to provozovat nechci, rád bych něco s paravirtualizací - i kdyby to neměl být mikrotik (zkoušel jsem třeba pfSense...)

kdavid

Presne tak, vykon je bidnej. Meli jsme to leta tak, ze kvm jelo na linuxu a nad tim virtualne MK. Nekde kolem 400Mbit route, shaping atd jsme narazili na strop.

Ze by to bylo v kvm v mk jiny bych necekal, spis horsi.

Mam na mysli virtualizovat za pomoci balicku kvm primo pod mikrotike. Ne mit jako supervisor kvm a nasledne na tom routry.

hol

Ja to chapu, ale je to stejny KVM. Proto jsem popsal nasi zkusenost. V MK to nebude jiny, urcite ne lepsi, spis horsi. Pokud ti jde o vykon, je resenim ccr s hodne jadrama. Pokud o neco jinyho, tak moji odpoved neber v potaz :)

radik

Je škoda, že Mikrotik zaříznul metarouter (resp. nepodporují multi-core CPU).

Máme na síti připojeno několik subjektů, které mají více budov, zajišťujeme jim IT služby... Jejich LAN provozujeme u nás ve VLANě a samozřejmě každý z těch subjektů potřebuje router do internetu (třeba i vč. VPN...). Dnes jich pár máme na RB450G (jeden z mála použitelných routerů pro tento účel), ale hodilo by se nám něco výkonnějšího / většího...

Ve vmware to provozovat nechci, rád bych něco s paravirtualizací - i kdyby to neměl být mikrotik (zkoušel jsem třeba pfSense...)

Na takovy ucel prece muzes pouzit cokoliv, na jednom routeru (kdyz chces neco vykonyho tak treba CCR) ti muze bezet treba 50 ruznych siti a kazda se muze routovat jinak (treba jeden uplink port a kazda sit v jednom VLANu).

hapi

Nevim co jsi měl ale teď jsem tu měl Xeon E3v5 tedy něco co má plnou podporu VT-x včetně VT-d, SR-IOV atd.., pokusně jsem si tam dal vmware ESXI a do toho mikrotik CHR a neviděl sem absolutně žádný rozdíl. Podmínka je kvalitní intel ethernety. Jako bonus je možnost využívat fastpath a fasttrack což normálně na x86 nejde. Dost pochybuju že by vmware vyhnilo na obsluze ethernetu. Má plnou podporu všech možných featur pro odlehčení io zátěže co se eth týče. Ono ostatně se stačí podívat na mk forum kolik lidí tam má CHR ve virtuálu a kolik tam přes to tlačí. Podmínka je prostě pořádný eth karty což platí i pro normální x86 instalaci a pak taky vmxnet3 nastaveno u virtualu což právě Mikrotik CHR podporuje.

Nějak nevidim rozdíl mezi 500Mbit routerem a serverem na kterym jede 500Mbit trafik. Ono ta virtualizace řeší i neduhy mikrotiku, třeba slabou podporu nových eth karet což zase řeší vmware.

Otázka taky je kolik těch firem je protože nákup silnějšího hw a jeho složitost určitě přesahne nákup řekněme 10x RB3011 nebo 20x RB750Gr3 což se hravě vyrovná i spotřebou. Navíc solo stroje neskapou všechny na jednou a nestarám se jestli jsem zrovna nastavil správný pravidlo pro správnou firmu.

Ve vmware to provozovat nechci, rád bych něco s paravirtualizací - i kdyby to neměl být mikrotik (zkoušel jsem třeba pfSense...)

a tohle je jako co za hlášku? vmware neni paravirtualizace?

mike_fish

Hapi, prosím, jednoduchá otázka: Je nějaký rozumný důvod instalovat pod ESXi přímo x86(64bit) místo CHR? Předpoklad je adekvátní značkové železo, 10G síťovky. Napadá mě prakticky jedině cena licence a to je samozřejmě marginalita.

hapi

x86 neumí vmxnet3. Je to uměle omezený. V CHR to jede. Dá se to obejít. Pokud nainstaluješ 6.31 tušim tak tam lze zapnout x64 která pak po zpětným upgradu nahoru zůstane a stane se z toho CHR :-) včetně licence :-D tedy ona zůstane třeba L4 ale podporuje to virtuální hardware a je to x64 takže podpora větší ramky funguje.

CHR je 64bit s podporou pro virtualy a přímo na železe nejede. Po bootu se okamžitě vypne.

x86 je 32bit bez podpory pro virtualy takže vmxnet3 neni podporovanej cože je to co umí víc irqček pro virtuály.

takže bych neřek že je nějaký důvod dávat do virtualu něco jinýho než CHR. Pokud to máš pro esxi tak tam maji luxusní balíček kterej to zařídí v podobě OVA template takže přes spuštěním virtualu už jenom stačí zvětšit velikost disku na požadovanou velikost a hotovo.

mike_fish

Ano, vmnetx3 mám vyřešený a chci to na ESXi, takže právě hledám rozdíl mezi CHR a x86_64. No asi teda žádný není. Resp. někde byl asi i tvůj post, že jsou balíky naprosto identické. OVA koukám na mikrotiku nemají, ale vmdk ano. Vypadá to tedy, že je vcelku šumák, co použiji...

mike_fish

Sakra ten obrazek se moc nepovedl :-) :-)

hapi

jsou identický, bohužel pouze u chr standardní cestou je vmxnet3 povolen. na klasice se ethernet neukáže.

ova tam je ke stažení hned jako 4 volba (VHDX, VMDK, VDI, OVA, ....)

mike_fish

OK, takže asi je to jedno. Já měl jen strach, aby nebyl někde uvnitř zakopaný pes. Díky. Skrz OVA jsem měl v hlavě zafixované, že tam byla čárka...