Shaping na Linuxu

peckma · 2020-03-09T20:11:09+00:00

Ahoj, řešíme poslední dobou problém na Linuxových shaperech... Dle všeho se nám HW fláká ale když provoz dosáhne cca 4Gb/s (cca 2500 userů na stroj.) tak n...

pgb

iTomB rozumím, já jitter vynáším do grafů a co monitoruji skrz router, tak se nehne ve špičce ani trochu. Asi dostatečná rezerva výkonu.

iTomB

pgb Hodne bude zalezet, kolik ostatniho ti tam co zere vykon. Kdyby ti tam obcas bezelo neco, co dokaze vytizit jadro, tak by jsi to vice videl.
Diky rychlosti packetu, tak ten jitter moc nezmeris, protoze to klidne muze byt jitter jen v ramci 100ms treba. Zas tak podrobne ho negrafujes.

pgb

iTomB jasný, proto na routeru skoro nic nemám. Líp se mi to udržuje a aktualizuje než kdy jsem tam míval hromadu dalších věcí. Ty běží jinde.

Edit: jedeš vigvam? Těším se

iTomB

pgb Ja mel taky drive 2 servery za sebou, NAT + par veci a dalsi shaper. No pak jsem optimalizoval a jedu na jednom, taky mi to staci 😃
Chtel jsem si delat vlastni failover, ze jeden dela neco, druhej neco a kdyz jeden padne, tak ten druhej plne prebere jeho funkce. Jen nebyl cas 😃

iTomB

Ted jsem zkousel shaper, kolik mi zere CPU.
Cca 1Gbps kolem 3% CPU. Ale mohl bych to vice skalovat, jedu to hodne jinak nez vetsina. Planuju to vice rozdelovat do stromu jeste, ale neni na to cas se tomu ted povenovat.

pgb

iTomB já nemám dva za sebou. Jedu shaper + nat + routing na jedné mašině a služby DNS/weby/virtuálky/atd na jiné. Nikdy jsem neměl za sebou dva stroje - jeden pro nat a druhý pro shaper.

iTomB

Pamatuju si Krystofa, jak pred hodne lety v Ostrave prednasel, jak jim pri 100Mbitech, L7 priorizaci VoIP nestihal server. Tak jsem mu tehda ukazoval muj server s L7 s full priorizaci, kterej v te dobe jel v radu x100Mbps a stihal L7 😃. Dneska jedu par Gbps s full L7 a v pohode. Diky optimalizaci 😃
Kdybych si pohral se sitovkama a dokazal routing + obyc shaper treba 40G, tak myslim ze by bylo mozne i tohle jet na L7, tak jak to mam.

iTomB

pgb No nejedes 2 za sebou, ale vlastne vedle sebe 😉
Ja nemam virtualky a weby bezne. Jen pro sebe. Proto nemam uplne potrebu to resit na dalsim serveru. Takze mimo DNS, posty a zabbixe to mame cca stejne 😉.
Kolik ti zere vykon a co mas za CPU?
12 jadro Intel(R) Xeon(R) D-2163IT CPU @ 2.10GHz
load average: 0.36, 0.63, 0.48
cca 20% a trafik 2G

pgb

iTomB Já tam toho mám vícero, ti pak můžu povykládat osobně. Jinak ano, vedle sebe každý na něco jiného. Já to z tvého příspěvku původně pochopil tak, že jsi měl dva stroje pro "tok dat".

Intel(R) Xeon(R) E-2246G CPU @ 3.60GHz
6 jader (vypnuté HT, z nějakého historického důvodu a nebyl čas a potřeba to řešit. .... je to na todo 🙂 )
Load average: 0.03 0.08 0.11
cca 18% při 3Gbps, Nejvíc mi žere export flow. Když vyhodím flow export tak 13/14%, když z cake třídy udělám fq_codel tak jsem na 11%. Shaper tak lehce a bezpečně neshodím .... to zkoušet nebudu.

iTomB

pgb Pochopil jsi dobre, mel jsem 2 stroje za sebou. Ale to byl rok 2005 cca 😃 Malo zkusenosti z te doby jeste 😉.

iTomB

pgb Ja hlavne hledal neco, co ma krasne vstup z predni strany+hotswap https://www.supermicro.com/en/products/chassis/mini-1u/513/sc513btqc-350b
Bohuzel nenasel jsem tam ted nove nic poradneho vykoneho :-(.
Spotreba co jsem zkousel je cca pri tom co dela kolem 15-20W.
Jinak tvuj CPU ma cpumark 13887 a muj cca podobne 😃

pgb

iTomB v té době jsem začínal, běžel mi tam redhat na desktop mašině ve sklepě a na záchodě na poliččce mě blikaly ovislinky 802.11b. Ty ovislinky to už bylo super, o rok předtím jsem tam měl PC a v něm zyxel kartu. Po ovislinkách přišly wrapy a to už šlo.... jó to je historie.

iTomB

pgb Ja zacal v roce 2001 na Linksysech WRT54G s DDWRT FW a v nem jsem mel taky shaper 😃

miract

Pro mě po zkušenostech MUSÍ mít router dva zdroje!

iTomB

miract A pak ti odejde deska 😃 No pro me je lepsi mit komplet masinu 😉 A jak jsem psal vyse, chci si udelat vlastni failover, tak aby nastartovali i aplikace a konfigurace.

pgb

miract mám to stejně, dvě linky, každá v jiném routeru

iTomB dva stroje na dvě linky, když budeš pečlivý, tal se dá dělat i synchronizace conntracku

miract ano, všechno co je v core má redundantní zdroj aby se s tím dalo pracovat když je třeba něco kolem elektřiny delat

miract

Z-Com XI-626 PCI :-)

miract

Já mám do netu dvě konektivity a na každé jeden router/server. Oba jsou až na IP nastavené totožně. Oba mají eBGP do netu, iBGP mezi sebou a OSPF do vnitřní sítě. Když jeden zdechne, tak to normální koncák ani nepozná.

honzajs21

Čau kluci, díky za tipy.

Server je HPE ProLiant DL360 Gen9
32 GB RAM
40 jader => 2* CPU Intel E5-2630L v4 20-Core 1.80 GHz
(chtěl jsem ho kvůli úspoře na ele, snad ta frekvence neni ten problém)
2* síťová karta Intel X710-DA2 2-port 10 Gb SFP+

4* 10G porty jsou v bondu dva tvoří bond.WAN a dva bond.LAN

Každý port té karty má 40! RxTx front a nejlíp vše funguje když to řídí démon irq_balance proti ručnímu nastavení irq affinity.

Nově jsem se dozvěděl v odkazech co někdo označil jako řešení v tomhle vlákně, že by těch front mělo být max 16 na síťovou kartu, takže to zkusím zredukovat, použít doporučení v těch odkazech a dám sem vědět jestli něco zabralo.

Ještě hodím dotaz do vlákna https://telekomunikace.cz/d/30733-linux-optimalizace-hfsc protože se mi HFSC nechová dle dokumentace tak jestli k tomu někdo něco máte prosím dejte tip.

« Předchozí stránka Další stránka »