Hardware pro GW (10 Gbit)

dagus

Koukal jsem na GW kde máme Supermicra SG-I2, které mají také více front. Máme tam Xeon e3 4x3,4GHz s HT, když vypnu RPS na GW kde jsou dvě síťovky aktivní, tak dvě jádra jsou na nule a obsluhujou pouze ether1/1 a 0/1, kde ty máš auto a tam se flákají. Když chci v IRQ připnout frontu síťovky na jádro, tak mě to ale nenechá je tam jen auto. Mám tam verzi 6.32.4, nevíš kde by mohl být zakopaný pes?

Ještě bych se chtěl zeptat jestli vzít na 10Gbit uplink (Routing NAT základní FW) CCR, nebo raději stavět nějaký router na x86 s 10Gbit síťovkama, 10Gbit konekt bude rozdělen do třech routerů a nechce se mi to bondovat po 1Gbit. Potřebuji aby to mělo alespoň 2xSFP+ a alespoň 4xGbit metaliku. Shaping bude rozdělen na víc shaperů podle lokalit. Trochu se bojím jak by se chovalo ccr, ačkoliv 1036 8g+2s+ jsou lákavé v jednoduchosti a snad by to i stíhalo, když tam nebude shaping. Ale nechce se mi to testovat za 24000Kč. Někdo nějaké zkušenosti jak rozporcovat 10Gbit a nezbláznit se z toho?

hapi

u IRQ kde je nastaveno auto ručně přepiš na číslo od 0 do (počet jader mínus jedna).

máme s ccrky špatnou zkušenost. Jsou super na čistej routing ale jakmile po nich něco chcem tak se chovají nepředvídatelně v závisloti na provozu. Větší počet QT to nedává a rychlý SQ taky moc ne. Co jsem viděl tak je problém s kvalitou kdy třeba ccrko prostě zcela nečekaně přestane fungovat a nefunguje už ani přes netinstall. Na jiným ccrku odešly eth porty ve smyslu že přestali mít správný kontakt a stačil dotyk a ethernet se odpojil.

dagus

Něco chceme? tím myšleno i NAT? Shapery budou jinde, s tou "kvalitou" mám také trochu problém, ono co si budeme ten hw na 26tkč nemá to nejlepší osazení kondíků a zdroje. Je nějaké supermicro co se dá postavit do 1u až 2u skříně s dost pci-e linkama pro uživení 2*10G v jedné kartě a třeba 2*sg-i2? Nenašel jsme na 1U skří'n za zarumný peníz :-)

hapi

nat to celkem zvládá pokud se na síti neukáže prasátko.

supermicro má řešení do 1U, cena se ti líbit nebude. Nebo nebude, je lehce pod cenou za CCR1072 který se tím dá nahradit. Existuje 1U kam se dá osadit libovolný Xeon E5v3/v4 + 3 pcie sloty. Dá se tedy nahradit CCR1072 který má 8x SFP+ pomocí dvou karet s 4 porty s SFP+ případně do slotů osadit libovolný karty od 6x1Gbit na kartě až po 6x10Gbit SFP+ a navíc to i na desce má dva vhodné výkonné ethernety pro mikrotik takže hw využitý na plno. Jako bonus to má dokonce i dva zdroje a pochopitelně i IPMI dohled nad hardwarem. Pro někoho kdo chce něco co na sobě má 10Gbit porty by ale taková cena neměla být problém si myslím. Takže jak píšeš, 2 eth porty to má na desce a do slotu strčíš duálku s SFP+ porty. Vše kompatibilní s mikrotikem.

raket

Ještě bych se chtěl zeptat jestli vzít na 10Gbit uplink (Routing NAT základní FW) CCR, nebo raději stavět nějaký router na x86 s 10Gbit síťovkama, 10Gbit konekt bude rozdělen do třech routerů a nechce se mi to bondovat po 1Gbit. Potřebuji aby to mělo alespoň 2xSFP+ a alespoň 4xGbit metaliku. Shaping bude rozdělen na víc shaperů podle lokalit. Trochu se bojím jak by se chovalo ccr, ačkoliv 1036 8g+2s+ jsou lákavé v jednoduchosti a snad by to i stíhalo, když tam nebude shaping. Ale nechce se mi to testovat za 24000Kč. Někdo nějaké zkušenosti jak rozporcovat 10Gbit a nezbláznit se z toho?

CCR1036-8G-2S je na to co popisujete úplně v pohodě. NAT a jednoduchý FW bude dávat odhadem 5-6Gbit trafficu.

U x86 je dle mého názoru u Mikrotiku problém v podpoře a vývoji k platformě. O čemž svědčí poměrně "stará" verze kernelu. Nepodpora 3 a více let starého hw (síťovky), staré drivery k síťovkám a nemožnost si nastavit driver dle vlastního uvážení.

Je třeba být si vědom limitu(ů) každé platformy a technologie. Máme nyní 2ks CCR a "zatím" nebyl žádný větší problém. DDOS to samozřejmě složí, ale to složí i x86.

Přes jedno CCR jede +-1Gbit, NATuje, lehký FW, a shaping PCQ v HTB vytížení cca. 20-26%, určitou dobu jsem na tom měl i cca. 2tisíce SQ pro shaping kliošů s WIFI a vytížení bylo někde kolem 30-35%.

U x86 se může pokazit spousta věcí. To riziko lze snížit výběrem dobrého HW, ale nikdy to nebude 100%. Různých failů, za ty roky bylo.

Důležité je mít topologii bez SPOF.

Nicméně shapery mám na x86 s Linuxem. Do budoucna uvažuju nad využitím SDN, resp. switche s openflow a controleru na x86.

dagus

DDOS nám x86 Xeon nesložil nikdy, jen se přehltila linka (1Gbit), což je stejnej efekt, ale hw kterej se začne restartovat pokud je přetíženej, mi dělá starosti.

Mám tu jeden náhradní shaper s deskou X9SCM-F s procesorem Intel Xeon e3-1225 Sandy Bridge na 3,1GHz, co jsem ale koukal že to má do procesoru dvě x8 linky, jednu x4 linku a jednu x4 linku přes chipset. Jsou to PCI-E 2.0 což by mělo znamenat že by ty x8 linky měli duální SFP+ zvládnout 32Gbit/s slot. Nyní na podobném železe běží NAT,Firewall, Queue tree a 700Mbit/s to dá, ale chci rozdělit NAT od shapingu, abycho mohl lépe dělit výkon na shaperech a mít linky mimo shaping. Teoreticky by to mělo být lepší jak CCR, respektive na UDP to udělá na jádro 14Gbit/s, zajímalo by mě jak velký je nárust s novým jádrem na stejné frekvenci v testu samo na sebe, jestli má smysl koupit něco nového a když tak co, jestli tam intel jen nepřidává jádra s 20% nárustem výkonu a jen nižší spotřebou. Tohle je ještě socket 1155, takže novej proc do toho nedám, ale socket 2011 má snad taky zase končit, takže co vzít. Má smysl cpát prachy do E5, když frekvence je to co je třeba? E5 pak vysoko taktovaná stojí majlant.

Potřebuji jen nějakou SFP+, 4xSFP+ tam nedám to se dělá jen do PCI-E 3, já mám jen 2.0 to znamená asi jen Supermicro STGN-i2S. Do dalších slotů bych dal SG-I2 co tu máme skladem. Teoreticky by skrz to něco protéct mohlo. Ale dalo by to víc jak 5GBit/s respektive 500 000 pps? Máte někdo nějakej Xeon jen jako GW s NATem bez shapingu? Dát třeba 50 000 za železo ok, ale pokud to utáhne ccrko za 26000 tak mi to příjde jak stavěné na 40Gbit a ne "jen" 10Gbit. Přeci jen bude to jen routovat a dělat NAT, ve firewallu žádný zvěrstva taky nebudou. Tak kde by se tam ten výkon vyplácal, na posouvání packetů? Když kouknu na CCR1009 co dělá čistě routing do lokality, tak když prochází 600Mbit/s tak se ani neopotí a suše to tam posílá tak nevím na co takové dělo. To je ten NAT tak náročnej na CPU? Kde jsou tu doby kde se hlásalo jak novej Atom uroutuje bůh ví kolik proti CCR. Nemám valné mínění o výkonu CCR, ale má to ty sfp+ šachty, což zatím na supermicru neprovozujeme a myslel jsme že na routing nebude třeba tolik výkonu a že by to to CCR dalo v pohodě, ale evidentně asi ne.

Máte někdo zkušenost jak je to s těma 10Gbit sfpčkama? Jak moc je to kompatibilní mezi různejma strojema? Potřebuji propojovat Supermicro STGN-i2S s HP switchem kde bude rozšiřující karta na SFP+ a nechce se mi laborovat co chodí a co ne.

Životnost železa jako takového s tím až takový problém nemám, posrat se samo může cokoliv, ale použité součástky dost mluví o životnosti na kterou to výrobce staví. Supermicra už máme nějaký ten pátek a zatím bez závažnějšího problému. Zmetek vyrobí každej o tom žádná.

Dotaz ještě k tomu rozdělení na jádra, pokud vypnu RPS, tak se mi najednou vytížení sleze na 4 jádra víc a na 4 skoro nic. To mám brát jakože se to převede na fyzická jádra a virtuální jádra se válej? Je to tak lepší nebo RPS nechat zapnuté?

hapi

Ještě bych se chtěl zeptat jestli vzít na 10Gbit uplink (Routing NAT základní FW) CCR, nebo raději stavět nějaký router na x86 s 10Gbit síťovkama, 10Gbit konekt bude rozdělen do třech routerů a nechce se mi to bondovat po 1Gbit. Potřebuji aby to mělo alespoň 2xSFP+ a alespoň 4xGbit metaliku. Shaping bude rozdělen na víc shaperů podle lokalit. Trochu se bojím jak by se chovalo ccr, ačkoliv 1036 8g+2s+ jsou lákavé v jednoduchosti a snad by to i stíhalo, když tam nebude shaping. Ale nechce se mi to testovat za 24000Kč. Někdo nějaké zkušenosti jak rozporcovat 10Gbit a nezbláznit se z toho?

CCR1036-8G-2S je na to co popisujete úplně v pohodě. NAT a jednoduchý FW bude dávat odhadem 5-6Gbit trafficu.

Je třeba být si vědom limitu(ů) každé platformy a technologie. Máme nyní 2ks CCR a "zatím" nebyl žádný větší problém. DDOS to samozřejmě složí, ale to složí i x86.

U x86 se může pokazit spousta věcí. To riziko lze snížit výběrem dobrého HW, ale nikdy to nebude 100%. Různých failů, za ty roky bylo.

Důležité je mít topologii bez SPOF.

Nicméně shapery mám na x86 s Linuxem. Do budoucna uvažuju nad využitím SDN, resp. switche s openflow a controleru na x86.

fakt by mě zajímalo co na tom skutečně děláš a jak. Jedna věc je chlubení se na foru a druhá je realita. Nedavno jsme na test pustili CCRko aby shapovalo a natovalo blbou 100Mbit linku a skapalo na výkonu, lidi hlásili divný chování netu téměř okamžitě po přepojení.

raket

U karet s více tx/rx frontama je RPS zbytečné. Mě na původní GW, kde jsem měl taky Supermicro s 2GHz Xeonem Nehalem arch. fungovalo rozdělení IRQ na jádra v pohodě. Prostě stačilo u fronty přehodit z "auto" na 0, 1, 2, 3 podle toho, které jádro se "flákalo". Měl jsem tam verzi 6.19 a pak chvíli 6.33.5.

Kompatibilitu SFP+ si musiš pohlídat akorát u intelích karet. V Linuxu jde v driveru nastavit, aby to výrobce SFPčka nekontrolovalo.

Jinak do vzdálenosti cca 1-5m stačí i DAC kabely. Na propoj HP switch a SFP+ karta funguje obyč. DAC za 600kč např. 2M z Alternetiva Cisco comp. nebo ty kabely co přeprodává Mikrotik.

Na delší propoj koupíš MM SFP+ do switche HP comp. do karty Intel comp. a je to. (a je to o něco levnější než single mode).

HP comp. modul mi v kartě X520-DA2 na Mikrotiku nefungoval (v Linuxu v poho). U té STGN-i2S to asi bude v pohodě, ale má stejný chipset jako ta x520 přímo od Intelu.

Novou GW jsem původně chtěl stavět na jednom volném Supermicru s e3 Xeonem v4, s 3GHz per jádro to má výkonu kopec. Nicméně jsem to vzdal kvůli chybějícím driverům vestavěných Intel Gbit kartám a problémům s redkucí CF-Sata. Do 1U case už bych další síťovku nenacpal. A taky se v tom podělal zdroj, který fugnoval před tím 3 roky cajk

Podle mě je ale trošku over-kill stavět ten box s výhledem na 40Gbit. To je jistější u X86/CCR to rozdělit na víc boxů. Navíc za ty 3-4roky budou jiné možnosti a finance na rozvoj.

500 000tis pps na x86 Mikrotiku? :) To je na test v LABu nejlépe s měřákem.

raket

fakt by mě zajímalo co na tom skutečně děláš a jak. Jedna věc je chlubení se na foru a druhá je realita. Nedavno jsme na test pustili CCRko aby shapovalo a natovalo blbou 100Mbit linku a skapalo na výkonu, lidi hlásili divný chování netu téměř okamžitě po přepojení.

Řekl bych, že to není žádné chlubení. Pokud bych měl na GW Cisco ASX apod., tak to už by možná za to stálo.

Před x rokama tu postovali kluci z GrapeSC co jim jede přes tehdy gigovou CCR1036 bez SFP+ a taky jsi jim nevěřil. To tu má dát screeny?? Stejně si povedeš to svoje bla bla Qtree, Mangle a vlky plky.

hapi

já neříkám že to nedá, ale nesmí nic dělat. Taky jsme to tu měly v bondingu + bridge co to spojovalo hp switche a cpu se nudí... dokud nepustíš torch nebo nechceš něco zaříznout když je průser a pak teprve průser nastane. Pokud to máš jako tupej bridge/router tak je to hezký, jinak ne.

dagus

Super s tím DAC kabelem jsem nevěděl zda je to OK, zda to sežere kde co, nebo je to jen Mikrotik -> Mikrotik. 3m po racku stačí a hlavně je to unisex 1g/10g což je taky super. Nehrozí tam nějaká ztrátovost, nebo jiná záludnost? Osobně jsem měl problém s RJ45 že tím gigabit nechtěl v 3com sfp projít (pouze 400Mbit), v jiném už HP switchi chodí bezproblému. Co v tom DAC kabelu je, našel jsem že je to metalický, jak je to náchylné na ohyb, jako optika nebo je to jako CAT6?

Hapi, má smysl kupovat socket 2011 -3, nebo jít raději do e3ky víc taktované na socketu 1151? Nemáš otestovanej rozdíl v propustnosti mezi skylake a sandy bridge e3? Má smysl ta větší l3 cache, nebo víc pci-e linek?

pepulis

Chtel bych Vas pozadat o radu, popr. konzultaci. Nevim, kde delam chybu a nebo zda ji vubec hledat na me strane.

Stavajici situace:

Do nedavna jsem odebiral konektivitu 250 Mbit s tim, ze:

1) optika je dovedena primo ke me domu a zakoncena ve switchy dodavatele - switch Edge core

2) switch je propojen metalikou s moji GW

3) GW - intel core i5, 2,8G, ssd disk s MK, supermicto sgi2 karta, vypnute RPS ....

4) LAN strana GW pripojena k Jet stream switchy a na nej pripojena domacnost, spoje, servery atd.

V okamziku, kdy si otestuju napr. BT nebo i ftp na LAN stranu, popr. ftp server, ktery je tam pripojeny, dostanu z toho pres 900 Mbit. V okaziku, kdy testuju propustnost smerem ven (pres WANku), dostanu iperfem, speddtestem, stahovanim distr. z debian.org, slax.org atd. max. do cca 230 Mbit s tim, ze to testuju za provozu, kdy tam jedou i uzivatele. Do teto chvile se zda vse v poradku, ale navysoval jsem konekt na 400 Mbit a jakymkoliv vyse popsanym testovanim se mi rychlost nedostane pres tech 250 Mbit. Skokove vyleti na napr. 380 Mbit a behem chvile spadne neco malo pod hranici 250 Mbit. Od dodavatele mam potvrzene navyseni, ale i tak jsem ho pozadal o kontrolu a nez se mi ozve, resim zda nemuzu mit chybu nekde na sve strane. Vypnul jsem jak mangle, tak qt, popr. i firewall a vysledek byl vzdy stejny/podobny. Do jejich switche se nedostanu, takze nemuzu zkontrolovat, jestli se tam neco nedeje. Zadne error pakety atd. na jednotlivych iface nejsou. Zkousel jsem menit i verze z 6.33.5 na 6.35 popr. 6.36.3 a vysledek stejny.

Iperf muzu testovat proti serveru, ktery bezi na 10 Gbit lince v Cesnet siti, ale presto, nemate nekdo moznost mi povolit BT server s volnou kapacitou 300 Mbit? Nenapada Vas, na co jeste se zamerit? Behem testu se CPU (jednotliva jadra) flaka/ji (do max. 10-15 %).

Jinak uplne stejne je to i s uploadem, ktery je, asi jako u kazdeho, vyuzivany vmensi mire ...

Dekuju za napady / rady.

dalibortoman

DD,

pustil bych TCP test tim iperfem. Par sekund bych zaznamenaval tcpdumpem provoz a ten bych pak zanalyzoval. Pokud budou chybet nejaky packety tak bych zacal hledat kde se ztraci.

JAk dodavatel zarizuje omezeni rychlosti na tech 400mbps? Cim to shapuje? Pokud na tom edgecore tak bych to videl jako zdroj problemu (tyhle switche neznam ale nepredpokladam, ze by mely dost bufferu)

pepulis

DD,

pustil bych TCP test tim iperfem. Par sekund bych zaznamenaval tcpdumpem provoz a ten bych pak zanalyzoval. Pokud budou chybet nejaky packety tak bych zacal hledat kde se ztraci.

JAk dodavatel zarizuje omezeni rychlosti na tech 400mbps? Cim to shapuje? Pokud na tom edgecore tak bych to videl jako zdroj problemu (tyhle switche neznam ale nepredpokladam, ze by mely dost bufferu)

Jak a kde, popr. na cem to omezuje presne nevim (edge core to urcite neni, je to limitovane az na jejich strane v Praze ...), vse jsem jim sepsal a dnes se mi maji ozvat. Pres vikend jsem dostal z jejich strany informaci o tom, ze po trase (i na jejich switchy u me) neeviduji zadny problem. Pro klid v dusi jsem nasadil novy server, ktery je vykonove priblizne stejny jako predchozi, pouze byl osazen vetsim mnozstvim RAM modulu. Vysledek je ovsem stejny. Na novem serveru jsou nastaveny pouze ip a maskarada, tj. mangle, firewall, qt atd. tam vubec neni.

Proto se i zeptam, ma velky vliv to, kdyz mam 4 jadrovy procesor, v serveru je supermicro sg-i2 karta, ktera ma 8 front a mam osazeny 2 nebo 4 moduly pameti? Protoze MK limituje vyuzitou pameti na 2G, vzdy jsem osazoval mensi mnostvi banku na desce ....

Provedl jsem i test, kdy jsem se metalikou pripojil primo na jejich switch a otestoval down/up a vysledek byl stejny, jako pres gw. Skokove jel trafik 400+ Mbit a po chvili se orezal a spadnul.

Tcdump jsem pri iper spustil a ted to musim jen vyhodnotit.

dalibortoman

kdyz mas vlastne ty stroje 2 tak je postav vedle sebe a zmer si mezi nima BWtestem jak moc se priblizis 1gbps. Hned budes mit jasno jestli to hw stiha nebo ne.

pro 1gbps bych RAM moc neresil. Pokud nemas box zasekanej firewall pravidlama... Nejdulezitejsi stejne je kolik se toho kolem zpracovani packetu vejde do CPU cache a kolik jader ty packety zpracovava

Wireshark data z tcpdumpu analyzuje tak nejak sam/automaticky. Staci projit hlasky z analyzy TCP provozu a koukat se zda nechyby nejake segmenty = zda se nemnozi retransmise. Nekdy se hodi nechat wireshark spocitat graf rychlosti - je videt jak rychlost splha nahoru a zase pada dolu.

Jako zajimava informace by v dobe testu rychlosti (= 100% vytizeni linky) pozorovat jak se chova ping nekam mimo Tvoji sit. Nejlepe pingat rychleji nez 1x za sec.

PS: Osobne nechapu proc nasazovat RouterOS na zelezo na kterem muze bezet linux. Ano neni to klikaci ale zase mam neskonale vetsi moznosti pri hledani podobnych problemu a jejich reseni.

pepulis

Co se tyka pingu pri testu, tak jakmile linku vytizim na 100%, zacne dochazet k PL, tj. linka je asi na stropu a pakety se kvuli tomu zahazuji. Mit jako GW linux me uz napadlo, se samotnym linuxem (debian, redhat ..) mam zkusenosti a pracuji s nim, bohuzel rizeni rychlosti jsem na nem zatim nezkousel a asi mi to zabere vic casu, nez se s tim seznamim :-). Dle meho bude ale asi problem mimo moji infrastrukturu, jelikoz ani prime napojeni na switch dodavatele (tj. primo na port, kde je pripojena GW) nedava pozadovanou rychlost ...

dalibortoman

to, co je v tom nahledu na ping videt, vypada jako by Te neshapovali ale limitovali. Z rozdilu casu pingu za klidu a ucpane linky se da urcit jak jsou po ceste aktualne dlouhe fronty packetu. Pokud je tam i v klidu tech 9ms tak delka fronty shaperu Tveho dodavatele je prakticky 0. Pak se packety co jsou pres musi hned zahazovat a TCPko bude zlobit, protoze ma latence jako na rychle lince a nedostane cas se prizpusobit, protoze se neobjevi zpozdeni.

pepulis

to, co je v tom nahledu na ping videt, vypada jako by Te neshapovali ale limitovali. Z rozdilu casu pingu za klidu a ucpane linky se da urcit jak jsou po ceste aktualne dlouhe fronty packetu. Pokud je tam i v klidu tech 9ms tak delka fronty shaperu Tveho dodavatele je prakticky 0. Pak se packety co jsou pres musi hned zahazovat a TCPko bude zlobit, protoze ma latence jako na rychle lince a nedostane cas se prizpusobit, protoze se neobjevi zpozdeni.

Ano, latence je (v tomto pripade na seznam.cz) 9 ms a to jak v klidu, tak během testovani s tim rozdílem, ze během testovani je tam PL.

dalibortoman

Ano, latence je (v tomto pripade na seznam.cz) 9 ms a to jak v klidu, tak během testovani s tim rozdílem, ze během testovani je tam PL.

V tom pripade mas problem. Dodavatel te zasobuje z nejakeho switche, ktery nema buffery nebo umi jen limiting. IMHO potrebujes, aby se to zvedlo alespon o 10-20 ms. Kazdych 10ms na 400mbps lince je cca 0.5MB v bufferech.

Kdysi jsme meli linku od Sloanu, kterou na 300mbps taky limitovali na nejakem switchi a bylo to nepouzitelne. Nastesti na obou koncich linky byla nase zarizeni, tak jsem si mohl na vstupu do linky nastavit vlastni 'predshaper'...

pepulis

To Dalibor Toman:

Moc Vam dekuju za cas a ochotu mi poradit a taky nove informace, ktere jsem neznal. Chyba se nasla, slo o ne zcela korektne nastaveny switch na strane dodavatele a nyni jede jiz vsechno v poradku.

« Předchozí stránka Další stránka »