Vigvam 2024 - Zimní setkání ISPíků
... Zlín mám dost z ruky a nepovedlo se
pgb jo jo, uz jsem v tom dlouho a malo co me prekvapi, takze se spis stava, ze se nachytam na neco co nekdo jinak pojmenoval a pak jsem jen zklamany 
.. takze to neber osobne
viktornovotny rozumím (názvy jsou obecně problém). Snad ti Hradiště dalo i náhled na něco jiného - trex nebo kam by se mohl třeba ubírat firewall v mikrotiku. Na vigvam pracuji na přednášce o Mellanoxu, které v mém okruhu nepoužívá nikdo .... ta karta je primárně vyvinutá pro virtualizaci, ale dá se ohnout i pro isp prostředí. Jak itom zmínil, každý od toho chce něco jiného a má to své výhody i nevýhody. Ta prezentace slouží pro ukázání něčeho, s čím tady dělá minimum lidí. Hapi tou zmínkou o CRS to rovnou použil pro routing (což je jen malá část umu té karty) a 4k HW_Offload spojení na CRS se s tímhle nedá srovnávat.
co je 4k HW_off?
jo ale to řešíš jenom u natu. Bez natu na L3 je ti to jedno. Všechny velké body už máme na MK HW L3. Opadnul stres s tím že někde nějaké typicky RB3011/4011 už nestíhá atd.. CRSka to proženou jenom hardwarem až do hranice wirespeed. Tam kde je opravdu masivní nasazení natu už zase mellanox nestačí a typicky se tam dělají ještě další věci. Je to začarovanej kruh asi jako když ti zde na fóru nejmenovaná osoba tlačí na GW hardwarový box který není až tak hardwarový za sakra tučný prachy s masivní limitací do počtu všeho asi jenom proto že to je ultra profi věc nebo protože na tom má tučnou marži.
hapi jak říkám, je to k něčemu jinému než čistý routing. Na čistém routingu se s tebou naprosto shodnu, že klasický L3 hw prvek typu MK netpower s L3 offloadingem na sajtu udělá lepší práci. To zmíněné masivní nasazení natu s limitama Mellanoxu nevím jaká znáš čísla (conntrack, nat, drop .....) - já ti to nechci vykecat, musím mít něco na přednášku
- Upraveno
gemb nat jenom na GW a CPE takže páteře/sektory logicky nat nemají. Počítají se do páteře a nedělají nic, jenom rychlý forward. Prakticky vše mezi GW a CPE u klienta běží buď v HW switch nebo fast path v případě wifi a L3 routerů na bodech. L3 router typicky bývala RB750G a její novější verze nebo RB3011/4011 položené typicky vedle CRS328 co napájí radia.
Aktuálně zůstali pouze CRSa v HW L3 + L2. Pokud někdo má vlany i to lze HW cestou a pokud někdo vlany i L3 tak také. Náklady na základní vybavení bodu klesly o půlku protože se nemusí kupovat další RBčko a řešit se pro něj prostor a chladit ho. V našem měřítku jeden velký bod. Před úpravou RB4011 s erikem v SFP+ pro hlavní trafik, RB3011 pro FTTB a GPON a CRS328 pro antény. Časem došlo na bonding portů mezi RB a switchem protože 1Gbit nestačil. Dneska tam je jenom CRS328. FTTB, GPON OLT a erik přímo do SFP+. Vše ve své L3. Což samozřejmě sníží i využití portů na CRS když předtím bylo potřeba 2x1Gbit z každého RB3011/4011 do switche. Schválně, jaké je nejlevnější RB co má 2xSFP+? Ten cenovej skok je až moc velkej proti RB4011.
S rostoucí rychlostí by byly náklady ještě větší. Dneska RB5009 vedle CRS328 propojené SFP+ jako nejlevnější řešení. CRS dělá vlany pro RB5009 a trafik po jednom portě tam a zpět jak se to dělá v případě ubnt poe switche. Neříkám že to nelze ale proč? Vše odbaví CRS a odbaví to rychleji bez zastávky v CPU a dvojitou cestou do externího routeru až do hranice portu. Před lety jsme řešili čím odroutovat na bodě erikssona. RB4011 přestávala stačit navíc sem tam pěkně blbne a za 2Gbit se mu reálně moc nechce. 2Gbit provozu od 500+ lidí, ne 2Gbit na stole doma. Provedl se upgrade, nastavilo se to do HW L3, popřehazovaly se porty z RB4011 do CRS a viditelně už druhý den bylo na grafu 20% trafiku víc a latence znatelně menší a ne tak houpavá.
Dneska když se nahrazují PTP spoje za 60GHz UBNT tak takové CRS318 je pro nás k nezaplacení. MK si to odroutují samy, na svůj provoz mají výkon dostatečný ale UBNT ne. CRSa vyřeší všechno v jednom zařízení a zvládnou tu rychlost. Máme L3 síť + OSPF takže každé PTP je samostatná L2 a tyhle CRSa tohle vyřešili opravdu bravurně.
Mimochodem, CRS310, přes 2Gbit trafiku do 3 směrů, kombinace L2, L3, multicast a vlan. Za cenovku lehce přes 4 tisíce... fakt nebudu vůbec nic jiného řešit. Pro naše použití je to game changer hlavně proto že opadla nutnost se starat o výkon hlavních routerů po síti protože nyní mají stejný výkon jako L2 switch tedy wire speed.
V týdnu jsem řešil konfigurace s Viktorem tak sem zvědavej jak pochodí v reálném nasazení. (L3, jednoduchý ořez rychlosti přes hardware a izolaci portů)
Pouzivat L3 HW Offload na CRSku? Ved to je samovrazda. Myslienka nadherna, ale oko by som nezazmuril. A bal by som sa toho dotknut, lebo nikto netusi, ktora funkcia to prepne na CPU a zabijes sa.
hapi ja som tie CRS na zaciatku zabalil kvoli flapovaniu portov ale to je hadam uz vyriesena vec, len 3011 s dvoma switchmi neni to prave orechove. Deju sa nam take veci, ze napr porty v druhom switchy flapuju, v prvom chodia dobre. Vymenit to za CRS s viac portami, SFP+ a pripadne poe out by bola rozpravka...musime skusit. Otazka ako si to poradi s cca 10 pravidlami vo firewalle ktore mame na kazdom bode.
- Upraveno
ekrajnak mám pod správnou větší sítě než je naše a všude ty CRSka jedou na podstatně větších rychlostech a větších počtech userů za tím a taky s více funkcemi třeba ECMP. Jak nikdo netuší jaká funkce to kam přepne? Je to dost solidně popsané na wikině a u všech položek ve winboxu máš pak napsáno co se na to použilo. Je to jako s ciskem. Každé má své použití a když chceš nějaké použít na něco na co není stavěné tak zapláčeš stejně. Nauč se to používat a bude se ti hezky spát. Mě se spí hezky protože nemusím používat zařízení za desítky tisíc ale jenom za deset tisíc. To je pro nás podstatné když dáváš net za 250,-.
gemb jo ale RB není CRS3x/5xx. Zdůrazňuji CRS3xx/5xx protože ostatní CRS to neumí. Umí to HW firewall jenom se tuším nedává do ip/firewall ale do switch/rule. Ale to teď nevím. Resp. ono záleží jestli pravidla aplikuješ na forward provozu nebo na management zařízení (chain: input). Tam pak můžeš použít normální firewall.
Pro mě nejdůležitější v konfiguraci těchto HW featur bylo oprostit se od zažitého myšlení principu routeru. Nejvíc je to asi viditelné při použití HW L3 a vlanů. Vše je to jenom o tom se to naučit a vyzkoušet si to na stole. Je to totiž velmi jednoduché.
hapi tak tak, jednoduche se to zda az moc, celkem cekam kde bude ten hacek 
viktornovotny jednoduse, pockej si na upgrade 
iTomB jak to myslis ?
viktornovotny No novej ROS jako programator vim, ze opravou jedne chyby, minimalne 1 nove vznikne
Kolikrat se neco rozbilo a opravovali par mesicu ...
Jo ale tohle už funguje rok.
Tyhle crs s L3 hw offloadingem jsme testovali asi před rokem. Vše, včetně mpls fungovalo ok, ale pořád je to mk switch, který se umí zaseknout kdy chce a to na důležité body nepatří.
