• Události
  • Vigvam 2024 - Zimní setkání ISPíků

24.1.2024 pořádá pan @krystofklima konferenci kousek od Kolína ... kdyby tam někdo chtěl dát kafe a pokecat tak já budu rád ...

ps: @iTomB domluvil jsem se s p. Klímou a bude přednáška na téma HW akcelarace na Mellanoxu. Původní záměr byla akcelerace ve virtualizaci, ale podařilo se to prokopnout a akcelerovat a měřit se bude všechno možný 🙂 .... enjoy

    pgb Jj to by mohlo byt zajimave, otazka je, zda potom pujde zpracovavat data, tak jak je clovek potrebuje 😉 😃

    • pgb replied to this.

      iTomB vždy je to něco za něco. Pokud využiješ možnosti akcelerace, tak s akcelerovaným packetem už v jádře moc nenaděláš ... ale než ho akceleruješ, tak s ním můžeš dělat psí kusy.

      edit: jinak mellanox podporuje akceleraci pro tc-pedit ... takže měnit v packetu můžeš skoro cokoliv 😉

      to už jsou snad zajímavější CRS3xx/5xx které to házejí do hardware s podobnou funkcionalitou.

      • pgb replied to this.

        hapi ani ne, tohle má totiž jiné určení než CRS3xx/5xx switch ... víc funkcí, násobně větší kapacita (ale za cenu maálo portů). Přijď, třeba tě to zaujme. Nechci to tu moc pitvat, pak by prezentace ztratila pointu.

        Hmm hele nejsi ty ten, co jsem na jeho prezentaci cekal v Hradisti a nakonec jsem se dozvedel, ze pointou vseho je “stromeckovat” .. co neni nic jineho nez podivny nazev k razeni SQ pod parent …. 😲😲😲 ?

        • pgb replied to this.

          viktornovotny ano ... Tam šlo tam o to ukázat možnosti jak dělat pomocí nftables markování v mapách. Něco co MikroTik nemá. Bohužel spousta lidí stále nedělá ani stromeček na manglu nebo v SQ (a bohužel se s tím stále setkávám). Pokud jsi čekal nějaký svatý grál a řešení všeho tak je mi líto, zázraky neumím.

            ekrajnak tam jsem nakonec bohužel vůbec nedorazil 🙁 ... Zlín mám dost z ruky a nepovedlo se

            pgb jo jo, uz jsem v tom dlouho a malo co me prekvapi, takze se spis stava, ze se nachytam na neco co nekdo jinak pojmenoval a pak jsem jen zklamany 😉 .. takze to neber osobne

            • pgb replied to this.
            • pgb likes this

              viktornovotny rozumím (názvy jsou obecně problém). Snad ti Hradiště dalo i náhled na něco jiného - trex nebo kam by se mohl třeba ubírat firewall v mikrotiku. Na vigvam pracuji na přednášce o Mellanoxu, které v mém okruhu nepoužívá nikdo .... ta karta je primárně vyvinutá pro virtualizaci, ale dá se ohnout i pro isp prostředí. Jak itom zmínil, každý od toho chce něco jiného a má to své výhody i nevýhody. Ta prezentace slouží pro ukázání něčeho, s čím tady dělá minimum lidí. Hapi tou zmínkou o CRS to rovnou použil pro routing (což je jen malá část umu té karty) a 4k HW_Offload spojení na CRS se s tímhle nedá srovnávat.

              co je 4k HW_off?

              • pgb replied to this.

                hapi počet spojení, které je daný switch schopen v hw odbavit třeba CRS5xx (ne počet rout, přesněji 4,5k viz wiki)

                jo ale to řešíš jenom u natu. Bez natu na L3 je ti to jedno. Všechny velké body už máme na MK HW L3. Opadnul stres s tím že někde nějaké typicky RB3011/4011 už nestíhá atd.. CRSka to proženou jenom hardwarem až do hranice wirespeed. Tam kde je opravdu masivní nasazení natu už zase mellanox nestačí a typicky se tam dělají ještě další věci. Je to začarovanej kruh asi jako když ti zde na fóru nejmenovaná osoba tlačí na GW hardwarový box který není až tak hardwarový za sakra tučný prachy s masivní limitací do počtu všeho asi jenom proto že to je ultra profi věc nebo protože na tom má tučnou marži.

                  hapi cize od klasicky routrov ako je 3011, 4011 alebo povodne ccr1xxx ste to prekopali na na CRS, a kedze nerobite nikde nat, tak je to v pohode? Dobre to chapem? My tiez nikse nerobime nat okrem brany, takze zbavit sa hlavne 3011tok by bol pekny sen.

                    hapi jak říkám, je to k něčemu jinému než čistý routing. Na čistém routingu se s tebou naprosto shodnu, že klasický L3 hw prvek typu MK netpower s L3 offloadingem na sajtu udělá lepší práci. To zmíněné masivní nasazení natu s limitama Mellanoxu nevím jaká znáš čísla (conntrack, nat, drop .....) - já ti to nechci vykecat, musím mít něco na přednášku 😉

                    gemb MK netpower16p v l3hw offload režimu máme, provozujeme a je to moc hezká věc.

                    gemb nat jenom na GW a CPE takže páteře/sektory logicky nat nemají. Počítají se do páteře a nedělají nic, jenom rychlý forward. Prakticky vše mezi GW a CPE u klienta běží buď v HW switch nebo fast path v případě wifi a L3 routerů na bodech. L3 router typicky bývala RB750G a její novější verze nebo RB3011/4011 položené typicky vedle CRS328 co napájí radia.

                    Aktuálně zůstali pouze CRSa v HW L3 + L2. Pokud někdo má vlany i to lze HW cestou a pokud někdo vlany i L3 tak také. Náklady na základní vybavení bodu klesly o půlku protože se nemusí kupovat další RBčko a řešit se pro něj prostor a chladit ho. V našem měřítku jeden velký bod. Před úpravou RB4011 s erikem v SFP+ pro hlavní trafik, RB3011 pro FTTB a GPON a CRS328 pro antény. Časem došlo na bonding portů mezi RB a switchem protože 1Gbit nestačil. Dneska tam je jenom CRS328. FTTB, GPON OLT a erik přímo do SFP+. Vše ve své L3. Což samozřejmě sníží i využití portů na CRS když předtím bylo potřeba 2x1Gbit z každého RB3011/4011 do switche. Schválně, jaké je nejlevnější RB co má 2xSFP+? Ten cenovej skok je až moc velkej proti RB4011.

                    S rostoucí rychlostí by byly náklady ještě větší. Dneska RB5009 vedle CRS328 propojené SFP+ jako nejlevnější řešení. CRS dělá vlany pro RB5009 a trafik po jednom portě tam a zpět jak se to dělá v případě ubnt poe switche. Neříkám že to nelze ale proč? Vše odbaví CRS a odbaví to rychleji bez zastávky v CPU a dvojitou cestou do externího routeru až do hranice portu. Před lety jsme řešili čím odroutovat na bodě erikssona. RB4011 přestávala stačit navíc sem tam pěkně blbne a za 2Gbit se mu reálně moc nechce. 2Gbit provozu od 500+ lidí, ne 2Gbit na stole doma. Provedl se upgrade, nastavilo se to do HW L3, popřehazovaly se porty z RB4011 do CRS a viditelně už druhý den bylo na grafu 20% trafiku víc a latence znatelně menší a ne tak houpavá.

                    Dneska když se nahrazují PTP spoje za 60GHz UBNT tak takové CRS318 je pro nás k nezaplacení. MK si to odroutují samy, na svůj provoz mají výkon dostatečný ale UBNT ne. CRSa vyřeší všechno v jednom zařízení a zvládnou tu rychlost. Máme L3 síť + OSPF takže každé PTP je samostatná L2 a tyhle CRSa tohle vyřešili opravdu bravurně.

                    Mimochodem, CRS310, přes 2Gbit trafiku do 3 směrů, kombinace L2, L3, multicast a vlan. Za cenovku lehce přes 4 tisíce... fakt nebudu vůbec nic jiného řešit. Pro naše použití je to game changer hlavně proto že opadla nutnost se starat o výkon hlavních routerů po síti protože nyní mají stejný výkon jako L2 switch tedy wire speed.

                    V týdnu jsem řešil konfigurace s Viktorem tak sem zvědavej jak pochodí v reálném nasazení. (L3, jednoduchý ořez rychlosti přes hardware a izolaci portů)

                      Pouzivat L3 HW Offload na CRSku? Ved to je samovrazda. Myslienka nadherna, ale oko by som nezazmuril. A bal by som sa toho dotknut, lebo nikto netusi, ktora funkcia to prepne na CPU a zabijes sa.

                        hapi ja som tie CRS na zaciatku zabalil kvoli flapovaniu portov ale to je hadam uz vyriesena vec, len 3011 s dvoma switchmi neni to prave orechove. Deju sa nam take veci, ze napr porty v druhom switchy flapuju, v prvom chodia dobre. Vymenit to za CRS s viac portami, SFP+ a pripadne poe out by bola rozpravka...musime skusit. Otazka ako si to poradi s cca 10 pravidlami vo firewalle ktore mame na kazdom bode.

                        • hapi replied to this.

                          📡 Telekomunikace.cz