Vigvam 2024 - Zimní setkání ISPíků
- Upraveno
gemb nat jenom na GW a CPE takže páteře/sektory logicky nat nemají. Počítají se do páteře a nedělají nic, jenom rychlý forward. Prakticky vše mezi GW a CPE u klienta běží buď v HW switch nebo fast path v případě wifi a L3 routerů na bodech. L3 router typicky bývala RB750G a její novější verze nebo RB3011/4011 položené typicky vedle CRS328 co napájí radia.
Aktuálně zůstali pouze CRSa v HW L3 + L2. Pokud někdo má vlany i to lze HW cestou a pokud někdo vlany i L3 tak také. Náklady na základní vybavení bodu klesly o půlku protože se nemusí kupovat další RBčko a řešit se pro něj prostor a chladit ho. V našem měřítku jeden velký bod. Před úpravou RB4011 s erikem v SFP+ pro hlavní trafik, RB3011 pro FTTB a GPON a CRS328 pro antény. Časem došlo na bonding portů mezi RB a switchem protože 1Gbit nestačil. Dneska tam je jenom CRS328. FTTB, GPON OLT a erik přímo do SFP+. Vše ve své L3. Což samozřejmě sníží i využití portů na CRS když předtím bylo potřeba 2x1Gbit z každého RB3011/4011 do switche. Schválně, jaké je nejlevnější RB co má 2xSFP+? Ten cenovej skok je až moc velkej proti RB4011.
S rostoucí rychlostí by byly náklady ještě větší. Dneska RB5009 vedle CRS328 propojené SFP+ jako nejlevnější řešení. CRS dělá vlany pro RB5009 a trafik po jednom portě tam a zpět jak se to dělá v případě ubnt poe switche. Neříkám že to nelze ale proč? Vše odbaví CRS a odbaví to rychleji bez zastávky v CPU a dvojitou cestou do externího routeru až do hranice portu. Před lety jsme řešili čím odroutovat na bodě erikssona. RB4011 přestávala stačit navíc sem tam pěkně blbne a za 2Gbit se mu reálně moc nechce. 2Gbit provozu od 500+ lidí, ne 2Gbit na stole doma. Provedl se upgrade, nastavilo se to do HW L3, popřehazovaly se porty z RB4011 do CRS a viditelně už druhý den bylo na grafu 20% trafiku víc a latence znatelně menší a ne tak houpavá.
Dneska když se nahrazují PTP spoje za 60GHz UBNT tak takové CRS318 je pro nás k nezaplacení. MK si to odroutují samy, na svůj provoz mají výkon dostatečný ale UBNT ne. CRSa vyřeší všechno v jednom zařízení a zvládnou tu rychlost. Máme L3 síť + OSPF takže každé PTP je samostatná L2 a tyhle CRSa tohle vyřešili opravdu bravurně.
Mimochodem, CRS310, přes 2Gbit trafiku do 3 směrů, kombinace L2, L3, multicast a vlan. Za cenovku lehce přes 4 tisíce... fakt nebudu vůbec nic jiného řešit. Pro naše použití je to game changer hlavně proto že opadla nutnost se starat o výkon hlavních routerů po síti protože nyní mají stejný výkon jako L2 switch tedy wire speed.
V týdnu jsem řešil konfigurace s Viktorem tak sem zvědavej jak pochodí v reálném nasazení. (L3, jednoduchý ořez rychlosti přes hardware a izolaci portů)
Pouzivat L3 HW Offload na CRSku? Ved to je samovrazda. Myslienka nadherna, ale oko by som nezazmuril. A bal by som sa toho dotknut, lebo nikto netusi, ktora funkcia to prepne na CPU a zabijes sa.
hapi ja som tie CRS na zaciatku zabalil kvoli flapovaniu portov ale to je hadam uz vyriesena vec, len 3011 s dvoma switchmi neni to prave orechove. Deju sa nam take veci, ze napr porty v druhom switchy flapuju, v prvom chodia dobre. Vymenit to za CRS s viac portami, SFP+ a pripadne poe out by bola rozpravka...musime skusit. Otazka ako si to poradi s cca 10 pravidlami vo firewalle ktore mame na kazdom bode.
- Upraveno
ekrajnak mám pod správnou větší sítě než je naše a všude ty CRSka jedou na podstatně větších rychlostech a větších počtech userů za tím a taky s více funkcemi třeba ECMP. Jak nikdo netuší jaká funkce to kam přepne? Je to dost solidně popsané na wikině a u všech položek ve winboxu máš pak napsáno co se na to použilo. Je to jako s ciskem. Každé má své použití a když chceš nějaké použít na něco na co není stavěné tak zapláčeš stejně. Nauč se to používat a bude se ti hezky spát. Mě se spí hezky protože nemusím používat zařízení za desítky tisíc ale jenom za deset tisíc. To je pro nás podstatné když dáváš net za 250,-.
gemb jo ale RB není CRS3x/5xx. Zdůrazňuji CRS3xx/5xx protože ostatní CRS to neumí. Umí to HW firewall jenom se tuším nedává do ip/firewall ale do switch/rule. Ale to teď nevím. Resp. ono záleží jestli pravidla aplikuješ na forward provozu nebo na management zařízení (chain: input). Tam pak můžeš použít normální firewall.
Pro mě nejdůležitější v konfiguraci těchto HW featur bylo oprostit se od zažitého myšlení principu routeru. Nejvíc je to asi viditelné při použití HW L3 a vlanů. Vše je to jenom o tom se to naučit a vyzkoušet si to na stole. Je to totiž velmi jednoduché.
hapi tak tak, jednoduche se to zda az moc, celkem cekam kde bude ten hacek 
viktornovotny jednoduse, pockej si na upgrade 
iTomB jak to myslis ?
viktornovotny No novej ROS 
jako programator vim, ze opravou jedne chyby, minimalne 1 nove vznikne
Kolikrat se neco rozbilo a opravovali par mesicu ...
Jo ale tohle už funguje rok.
Tyhle crs s L3 hw offloadingem jsme testovali asi před rokem. Vše, včetně mpls fungovalo ok, ale pořád je to mk switch, který se umí zaseknout kdy chce a to na důležité body nepatří.
takové body prostě vypadají jinak, jinak nic proti tomu HW nemám...okoun Jako souhlasím že na L3HW offload na MK na core osobně odvahu nemám, mám ho na pár místech na MK netpower16p kde to obsluhuje pomocí L3HW ten lokální POP a funguje to bez problémů (L3 síť).
Typicky to jsou sajty s nějakými 5GHz/60GHz hračkami a třeba jedním/dvěma profi pojítky (všechno je v kruhu) a nějaké problémy nepociťuji. A ano, odbavuje to jen do 1Gbps a nejsou to core sajty, ale to neznamená že nejsou pro mě důležité.
Přeci jen ten switchchip od Marvellu používá MK i ve svých top produktech a MK na L3HW evidentně tlačí aby to fungovalo, protože stroje se silnými cpu si musíme skládat sami .....
Když zapnu L3HW na CRS328-24P, fw 7.12.1, tak přestane být dostupný management připojených L2 zařízení, typicky RB260, radia SummitD, které mají jen IP, bez masky a brány 
no ano, protože se nechovají zcela korektně. Asi to bude tento problém: https://help.mikrotik.com/docs/display/ROS/L3+Hardware+Offloading#L3HardwareOffloading-MACtelnetandRoMON
Pravděpodobně, občas se to chová divně, stalo se mi taky, když jsem měnil na dalším hopu hw, tak ten první switch ztratil routy a do vypnutí L3HV je odmítal nahodit… Nikde to nesigmalizoval, v routing table normálně byly, restart switche nepomáhal, min. 10 minut mi trvalo, než mi to docvaklo…
Já jsem od toho upustil právě kvůli divnému chování s OSPF(ztrácely se routy). Ale je to cca 3/4 roku zpět, tak to možná vyřešili.
- Upraveno
všechno to je v changelogu a v manualu. I známe limitace i konfigurační nápravy daných stavů: https://help.mikrotik.com/docs/display/ROS/L3+Hardware+Offloading#L3HardwareOffloading-Layer2Dependency
je třeba si uvědomit že když se tohle dělá hw boxech tak se upraví config a ten se pak aktivuje. Tady zadáváte věci postupně a oni se sami aktivují okamžitě což není dobře ale většinou stačí off/on l3hw a je vyřešeno. Je jasné že když mu měníte L2 tak L3 se může rozbít. Řešení:
It is recommended to turn off L3HW offloading during L2 configuration.
Psát sem staré zkušenosti nemá smysl. Je tam spousta věcí opravených. Jenom tak pro příklad. CRS328 v7.10, uptime 202 dní, 1.6Gbit tok L3HW. Celou dobu bez ručního zásahu.
Buď se tomu věnuju a nebo si stěžuju. Kam se zařadíte?