Mikrotik HW L3 / MPLS

hapi · 2022-02-27T12:16:50+00:00

používá někdo hw akceleraci v routerboardech? Plno posledních CRS umí nějakou HW akceleraci L3 a např. CRS309 případně alternativa CRS310 nebo starší kousky...

ladik

hapi Super dekuji moc za takovy test (ostre nasazeni). Takze to ma vliv jen kdyz tam routuju nebo ikdyz tam mam jen komplet bridge? U toho L3 staci jen jedna routa a jde to nahoru (vicemene to takto pozivam vsude)?

hapi

Když máš komplet bridge tak nemáš L3 nebo jsem tě špatně pochopil?

bridge je L2. Defaultně přes CPU. Pokud chceš "akceleraci" přes switch v rbčku tak dříve master port, dnes "hardware offload" v nastavení bridge/port. Tím se aktivuje předávání skrz switch chip pokud ho routerboard má. Samozřejmě do toho provozu nelze více méně nijak zasahovat ale poteče rychlostí wire speed.

routing je L3. Defaultně přes CPU. Pokud chceš "akceleraci" přes switch v rbčku tak v ve winboxu nabídka switch a povolit podle wiki "L3 hw offloading". Tím se aktivuje routování ve switch chipu pokud je daný routerboard vybaven správným chipem. Samozřejmě do toho provozu nelze více méně nijak zasahovat ale poteče rychlostí wire speed.

Nic nebrání tomu mít na všechny porty kromě jednoho bridge L2 v hw offloadu a přitom mezi bridgem a tím zbývajícím portem mít HW L3.

hapi

Před hodinou vyměněn jeden vlan switch + router za jedno CRS326-24G-2S+. Každý port solo subnet. Cpu samo zvládá docela hodně a to kolem 700-800Mbit. Myslím si že při 100 koncových zařízeních za tím by se to na tu rychlost nevyškrábalo. Po aktivování HW L3 opět 950+Mbit. CPU se teď stará pouze o DHCP, OSPF a CAPsMaNy.

pgb

hapi pokud by to šlo přes cpu tak to sice zvládne jak píšeš 800Mbps, ale pouze pro plné Mtu. Jakmile by se tam objevilo 100 zákazníků tak pps poletí mnohem výše, cpu se zapotí a propustnost klesne. Já chci ipv6 🙁 , bez toho nemohu nasadit ale moc se na to těším. Díky za reportování

vecino

pgb Jak je to s ipv6 a linuxovou mašinou? Jak tam ne(funguje) hw akcelerace? Je to záležitost použité síťovky jestli to podporuje? Případně jak se to dá ověřit? Díky

hapi

tak dokonce nasazeno i HW L3 i na vlanu. Ono totiž nelze jenom přidat vlanu na iface a očekávat že HW L3 pojede. Nepojede protože to je softwarový vlan. Je totiž nutné využít HW L2 pro použití vlany podle wiki. Zatím netuším jak se k tomu postavit při použití více vlanů na jednom portu (trunk) a taky faktu že existuje pouze jeden HW L2 Bridge i když tak nějak tuším že se prostě musí navlanovat klasickou cestou přes switch a pouze rozšířit příklad z wikiny. Dva ze tří vlanů se nahodili do HW L3 offloadu a jeden odmítal, tekl stále přes cpu. Nakonec to taky dal a už to jede. Ještě tam jsou nějaké potíže že u té vlany nevidím offlodovaný provoz.

Jo a pro diagnostiku kudy co teče je dobré sledovat routy a jejich značky "H" coz značí že routa je poslána do switche pro HW odbavení.

standula

hapi
to je maso tohle číst .... zlaté HPE, ještě že jsem od tohohle trápení utekl... Stařičká 5800 toho umí mnohem víc a mnohem lépe..

pgb

Souhlasím s hapim, v určitých situacích dostaneme do rukou wirespeed router sice s velmi omezeným feature setem, minimální spotřebou a jako bonus můžeme zahodit stávající softwarové routující slabší routery. Já chci ten netpower 16p, mám několik míst kde se na L3HW už třesu 🙂

vecino hw akcelerace a běžných síťovek, tak na linuxu není jako taková žádná, ale obecně existuje pár technik jak to obejít a tyhle techniky jsou společné pro ipv6 i ipv6.

akcelerace pomocí flowtables
XDP (https://www.tigera.io/learn/guides/ebpf/ebpf-xdp/) v reřimu SKB-Native zrychlí při správné síťovce asi o 50% pps
XDP v režimu hw offload s podporovanou síťovkou (ale podporuje to jen pár melanoxu a některé další)
alternativní dataplane: VPP/DPDK

hapi

pro mě to není utrpení. Já jsem nadšen z toho že těch pár hodin zkušeností vedli k tomu že nemusím kupovat cokoliv do sítě (když ani většina věcí není dostupná) a můžu jenom poupgradovat stávající CRSka a trochu přepojit kabely a vyházet nějaké aktuálně už přebytečné routery.

A po včerejší spolupráci s k****u při přechodu z cisco asr na Aristu jsem slyšel tolikrát že tohle neumíme, tohle už nejde atd.. že tyhle drahý jednoucelny boxy nechceme.

A HW L3 u RB tuhle myšlenku posouvá dál a dělá z toho o pěkný kus lepší a výrazně výkonnější HW.

standula

hapi
v pohodě.... každý podle sebe. Jen jsem zamáčkl slzu utrpení a vzpomínek na MK trápení.... jen to co tu prezentuje (te)(MK) jako super novinky je u mnohých sériovou samozřejmostí u EOL zařízení + ty EOL mají hromady věcí navíc s pořízovazí cenou kolem 10k. O spolehlivosti nemluvím...

ekrajnak

Páči sa mi, ako sa moja otázka z pred vyše dvoch rokov stala skutočnosťou 😃 https://forum.mikrotik.com/viewtopic.php?t=154575

pgb

standula up ... těšíme se na tipy prosím, možná jsi to tu přehlédl

hapi

Dej příklad za 10k

ladik

Takdy bych rad priklad, protoze ty EOL produkty zerou jak rusky tank na Ukrajine.
Sam pouzivam x takovych L3HW switchu a zerou jako prase, ale tam kde jsou zakaznik plati za silovou elektrinu, takze spotrebu vubec neresi.

standula

pgb neprehledl máš to hned v prvním prispevku.

pgb

tak to jme to přehlídli asi všichni tři tu zmínku o hpe 5800

edit: kukám na ebay a zase se to tam v evropě těma superlevnejma zase tak moc nepřehání ... dva kousky z řady 5800 za 7000,-Kč a třeba hpe JC100B úplná láce není (a to pominu to, že bych potřeboval hoodně hluboký rack 🙂 ). Kažký koukáme po naprosto jiné kategorii...

pintero

Nevím, jestli to tu bylo někde již zmíněno, jakmile se na switch čipu zapne L3 Hw Offloading, přestane jít vzdálený MAC Telnet.
edit: píše se o tom na wiki: If MAC telnet or RoMON are desired in combination with L3HW, certain ACL rules can be created to force these packets to the CPU....

hapi

Ano, nezná cestu pro mac adresu. Pokud má zařízení IP adresu, stačí ji pingnout a switch chip ji pak zná a mac telnet i romon fungují.

pintero

Poslední dobou mi nejde nahodit L3HW na CRS328-24P. Poslední verze fw, kde mi to běží je 7.2.3.
Mám kus starý, staticky routovaný sítě, kde je rozsah pro hw 172.17.x.x, většinou /29 a pro klienty 10.x.x.x.
Ty routery (před tím, teď jsem chtěl nahradit CRS) nic nedělají, jen routují rozsahy dál, max na jednom portu je adresa 10.x.x.x/30 pro BKE zdroj s dohledem.
Po výměně routeru za CRS a nahození pravidel /interface/ethernet/switch set 0 l3-hw-offloading=yes +
/interface/ethernet/switch/port set [find] l3-hw-offloading=yes
přestane přes switch téct provoz, jako kdyby neměl routy. Ale routy tam byly, a když jsem je ve Winboxu rozklikl, tak měly příznak Hw.Offload.
Po deaktivaci /interface/ethernet/switch set 0 l3-hw-offloading=no se provoz rozběhne...
Přes velikonoce jsem se to pokoušel nasimulovat doma, propojil jsem 2 CRSka před něj GW za něj také a na stole mi to jede. Zapínám, vypínám L3HW, stahuji, odesílám gigabitem bez problémů.
Ve 4 ráno to nahodím na živé síti a výpadek jak svině.

vecino

Tak jsme to včera s kolegou zkoušeli na CRS328-24P-4S+RM a vylámali jsme si zuby. Nepodařilo se nám L3 Hw Off uchodit - furt to tahal CPU.

Postupovali jsme podle: https://help.mikrotik.com/docs/display/ROS/L3+Hardware+Offloading a dávali jsme si pozor na uvedené "typical misconfiguration" na který sám MK upozorňuje.

Inter-VLAN Routing
OSPFv2 s cca 1k rout - mají všechny flag H v routovací tabulce

No tři posty nad tímto psal pintero , že mu to fungovalo do verze 7.2.3 (ale post je z 04/23).

Je tu někdo komu to jede na aktuální 7.15.1 + CRS328? Asi tam máme nějakou botu my, ale zatím jsme nepřišli na to co tomu vadí.

Díky

vecino

Chtěl bych po dvou letech obnovit toto vlákno a zeptat se na vaše postřehy jak moc se za tu dobu vylepšila HW L3?

Používáš to stále @hapi ?

Chtěl bych to vyzkoušet a případně nasadit na těchto sw:

CRS310-1G-5S-4S+IN - https://mikrotik.com/product/crs310_1g_5s_4s_in#fndtn-specifications
CRS310-8G+2S+IN - https://mikrotik.com/product/crs310_8g_2s_in#fndtn-specifications

« Předchozí stránka Další stránka »