vysoke zatizeni CPU kvuli NAT

keksik

Ahoj. Vie mi niekto poradit co robit v pripade vysokeho zatazenia CPU na hranicnom routri? Bezne ma zatazenie do 20% v spicke,cca 450/50Mbps a okolo 800 online users. Server/router je x86 originá HP proliant s 3.1Ghz xenonom https://www.atcomp.sk/zbozi/hp-proliant ... p=z. Robi sa na nom vsetko. Nat,routung.mangle aj shaping QT. Ked je tam jeden hlavny src-nat. kedy vsetci idu cez jednu verejku.tak toide v pohode do max tych 20%. No teraz som skusíl preNat-ovat par segmentov siete.kazdy cez svoju inu verejku z rozsahu/24 co mam od dodavatéa konektu. Spravim cca 10 dalsich takych nat. A potom zle. Cpu ide na 80 %, zacne packetloss na wan aj latencie idu z 5ms na 10-30 von do netu. S poctom tych src\nat pravidiel stupa aj to zatazenie. Po vypnuti tych pravidiel a vypnuti/zapnuti conntrack zatazenie spadne do normalu.

Otazka znie -

1. Je to bug MK verzie /posledna stable 6.xxx/

2. Viete mi poradit ako to optimalizovat.ak je to len tym?

Dakujeem.

hapi

zaměřil bych se na počet konexí když je zrovna problém. Máme daleko víc natů na bráně a nic takovýho se neděje.

keksik

Takze po rade od "hapi" - vypnut RPS a posachovat s rucnym priradenim IRQ ku jadram CPU to vyzera uz lepise, ale aj tak sa mi to nepaci, pretoze je to len 11 NAT.

Ak pre NAT neexistuje nejaka optimalizacia v ROS, tak len vykonnejsi CPU?

Hmm, to je ten Xeon E3-1220v3 3.1GHz/4-core/8MB tak slaby? To potom co, postavit nieco na Core i7?

Tu je zataz v spicke s tymi 11 NAt pre podsiete.

Ozaj a v tom Profile, to IDLE co vlastne ukazuje?

<--- ia0 -->Po optimalizacii-IRQ.JPG<--- ia0 -->

net_work

tam bude neco zasadne spatne...

Moje supermicro s 2 jadrovym pentiem (2x 3,2Ghz) jede pri 300Mbps toku se 160 naty, 1500 mangly a 650 QT zhruba stejne jako ten tvuj xeon, mozna jeste lepe...

Asi bych zkusil nejakou nizsi verzi RoSu, případně jakou tam mas sitovou kartu?

rouchi

proč máš vyplé HT ??

mám hodně podobnej procák a hlásí mi to jako 8 CPU..

každopádně jede mi přes to více userů a plus mínus stejné zatížení mám na cca 500-600 Mbitech... sítovka supermicro...

hapi

idle je že nic nedělá. Zatim sem neviděl screen kdy je problém. A hlavně se mi zdá že neumíš počítat od 0 do 3.

keksik

tam bude neco zasadne spatne...

případně jakou tam mas sitovou kartu?

Network Controller: integrovaný 1Gb dvouportový 332i Adapter.

Je to v specifikacii na tom odkaze na webshop ATC.

keksik

idle je že nic nedělá. Zatim sem neviděl screen kdy je problém. A hlavně se mi zdá že neumíš počítat od 0 do 3.

Myslis co? Nejake poradie? Nahadzal som to tam podla vytazenia..

hapi

na to kašli, dej tam jádra popořadě a prvního irq v pořadí u jednoho eth si nevšímej a nech ho na auto. Rozhoď jenom ty co tam ten čítač nabíhá hodně rychle. Což je IRQ 46 až 49 a ke kterým popořadě dáš CPU 0 až 3 a to samí uděláš u IRQ 51 až 54. Vše ostatní na auto.

Je hodně pravděpodobný, že když zapneš hyperthreading u cpu v biosu, tak se ti ukáže 8 IRQ na každym ethernetu a mělo by to ještě o něco zvýšit výkon.

pepulis

na to kašli, dej tam jádra popořadě a prvního irq v pořadí u jednoho eth si nevšímej a nech ho na auto. Rozhoď jenom ty co tam ten čítač nabíhá hodně rychle. Což je IRQ 46 až 49 a ke kterým popořadě dáš CPU 0 až 3 a to samí uděláš u IRQ 51 až 54. Vše ostatní na auto.

Je hodně pravděpodobný, že když zapneš hyperthreading u cpu v biosu, tak se ti ukáže 8 IRQ na každym ethernetu a mělo by to ještě o něco zvýšit výkon.

Ma obecne HT vliv na rychlejsi zpracovani pozadavku (shaping ...) tak, aby stal server za vymenu? Momentalne mam u sebe na GW i5 procesor, ktery je dle specifikace bez HT. Konekt 400 Mbit, cca 800 mangle, supermicro karta, vytizeni cpu ve vecernich/nocnich hodinach kolem 10-15%. Ma smysl uvazovat o novem cpu? Projevi se jeho vymena v necem jinem, nez v tom, ze bude pravdepodobne min zatizene cpu?

keksik

na to kašli, dej tam jádra popořadě a prvního irq v pořadí u jednoho eth si nevšímej a nech ho na auto. Rozhoď jenom ty co tam ten čítač nabíhá hodně rychle. Což je IRQ 46 až 49 a ke kterým popořadě dáš CPU 0 až 3 a to samí uděláš u IRQ 51 až 54. Vše ostatní na auto.

Je hodně pravděpodobný, že když zapneš hyperthreading u cpu v biosu, tak se ti ukáže 8 IRQ na každym ethernetu a mělo by to ještě o něco zvýšit výkon.

Praveze tu niekde vo vlakne "hapiho demo" /alebo tam niekto iny, alebo som cital uplne inde-inde --asi v inom vlakne uvedena prezentacia o NAT z konference v Jizerke/ je spomenute, ze pprave HT nema dobry vplyv na vykon spracovania paketov. Este kuknem.

keksik

na to kašli, dej tam jádra popořadě a prvního irq v pořadí u jednoho eth si nevšímej a nech ho na auto. Rozhoď jenom ty co tam ten čítač nabíhá hodně rychle. Což je IRQ 46 až 49 a ke kterým popořadě dáš CPU 0 až 3 a to samí uděláš u IRQ 51 až 54. Vše ostatní na auto.

Je hodně pravděpodobný, že když zapneš hyperthreading u cpu v biosu, tak se ti ukáže 8 IRQ na každym ethernetu a mělo by to ještě o něco zvýšit výkon.

Budes mat mensie vykyvy latencie von do internetu v spicke. Vsak si to porovnaj v noci/rano a v spicke. V klud emozes mat stabilne cojaviem 4ms , a v spicke ak to mas vytocne na 60percent tak to bude skakat 6-8ms napr.

net_work

to teda nevim, ja nic takoveho nepozoruju. rozhodne ne beznym merenim, pokud uz se kouknu na graf treba smokepingu tak ano, rozdil tam je, ale v rozpeti ani ne jedne ms...

pepulis

to teda nevim, ja nic takoveho nepozoruju. rozhodne ne beznym merenim, pokud uz se kouknu na graf treba smokepingu tak ano, rozdil tam je, ale v rozpeti ani ne jedne ms...

Rozdíl tam je, ale je to jak píše net.work, tedy minimální. Asi má otázka bude znít divně, ale přispěje to k rychlejšímu zpracování QT, tj. že bude rychleji přepocitavat jednotlive parenty a ještě lepe rozdělovat prirazenou konektivitu? Momentalne rozdeluji na tx/rx u supermicro 2 port karty 4 CPU (0-3). V pripade procesoru s HT by to bylo 8 CPU (0-7). Ma smysl investovat do zmeny GW z hlediska cpu?

Co se tyka konektu, tak i když mam 400 Mbit, v QT je strop nastaveny na 380M, aby se vse stihlo "ubrzdit". Mate to taky tak nebo praktikujete něco jiného?

keksik

Co se tyka konektu, tak i když mam 400 Mbit, v QT je strop nastaveny na 380M, aby se vse stihlo "ubrzdit". Mate to taky tak nebo praktikujete něco jiného?

Ja mam od dodavatela základ 400M + 95percentile. Čiže strop nemam. Ked treba da mi to aj 900Mbps. Platim dodatocne za 1M nad pausal 400. Co si ale strazim, ak to dlhodobejsie lize 400M zmenim pausal, co budem robiť teraz o mesiac.

Vyhodu ma to-ako mi vysvetlili, ze reálne tam mas parsekundove spicky, co ti grafy neukazu a ak to mas napevno orezane tak to nejde kliosom tak ehm komfortne ci ako by som to nazval.

ludvik

Skoro bych se zaměřil právě na toto ... je to broadcom. Z něj mám odjakživa rozporuplné pocity. I když z nových intelů také ... ale mikrotik používá poměrně stará jádra. Jestli jsem to z pár příspěvků Normise pochopil správně, tak je mění jen v rámci major verze. Tedy šestka má pořád ten samý kernel (i když předpokládám jeho údržbu backporty).

tam bude neco zasadne spatne...

případně jakou tam mas sitovou kartu?

Network Controller: integrovaný 1Gb dvouportový 332i Adapter.

Je to v specifikacii na tom odkaze na webshop ATC.

V podstatě na shodném HW jsme honili gigabit pro tisíce userů. NAT sice optimalizuji, ale na sítě /24 ... Neumím si představit způsob, jak optimalizovat 10 řádků v nat tabulce. Buď jsi narazil na bug v ROS (ten tam samozřejmě nemám), nebo je v tom jiný zádrhel.

hapi

to teda nevim, ja nic takoveho nepozoruju. rozhodne ne beznym merenim, pokud uz se kouknu na graf treba smokepingu tak ano, rozdil tam je, ale v rozpeti ani ne jedne ms...

Co se tyka konektu, tak i když mam 400 Mbit, v QT je strop nastaveny na 380M, aby se vse stihlo "ubrzdit". Mate to taky tak nebo praktikujete něco jiného?

lépe to určitě nic dělat nebude, je to stroj, bud to udělá a stihne to v čas nebo neudělá a je přetíženej a stejně to udělá ale se spožděním :-D

neber HT jako směrodatný, hodně záleže na co se HT používá a jestli vůbec máš ethernet kterej umí víc než 4 tx/rx fronty. Jinak by si totiž vůbec nic nezískal.

jenya

Dovolim si zde odkazat na prezentaci z Jezerky. Pokud by se podarilo dotahnout projekt do konce, tzn. nejen NAT, ale i firewall a shaping by bezel na relativne levnem x86 takrka wirespeed (10Gbps), mame tu vse po cem ISP touzi :)

BTW, je tam zajimava diskuse.

<--- l -->viewtopic.php?f=4&t=21180<--- l -->

keksik

proč máš vyplé HT ??

mám hodně podobnej procák a hlásí mi to jako 8 CPU..

každopádně jede mi přes to více userů a plus mínus stejné zatížení mám na cca 500-600 Mbitech... sítovka supermicro...

Intel® Xeon® processor E3-1220v3 co je v tom, nevie HT, kurva, ani ma to nenapadlo pozriet pred kupou, hmm.

Asi sa neoplati do tohoservera kupovat vykonnejsi procak?