Shaping na Linuxu

peckma · 2020-03-09T20:11:09+00:00

Ahoj, řešíme poslední dobou problém na Linuxových shaperech... Dle všeho se nám HW fláká ale když provoz dosáhne cca 4Gb/s (cca 2500 userů na stroj.) tak n...

pgb

pokud @honzajs21 máš náhodou puštěný na GW prometheus node exporter, tak grafy toho co říká @dan_24 najdeš tam

edit: pardon, defaultně to je vypnutý

iTomB

Zkus se podivat na SI (ja mam rozdeleno kazdou sitovku na jine jadra a dalsi jadra na aplikace).
Pak hlavni trida, kolik ma dropped, overlimits, requeues.
Podivej se jeste na quantums ci r2q. To je zavisle na vykonu a tiku CPU.

k3ny

pgb IRQ by to mohli byt taky, ale v poslednich verzich linuxu jsme nezaznamenal problemy se by bylo potreba do toho sahat. Kolik mas CPU a kolik mas front na karte? Idelani je asi 1:1.

pgb

k3ny za mě ideál 1:1, nikdy jsem neměl víc než 16 jader + se mi výrazněji osvědčil single socket místo dvousocketu (ten se mi nikdy nepodařilo přemluvit aby mi chodil tak jak chci - ale zároveň musím říci že jsem tomu dal maximálně den).

Co se týká automatického rozhození tak mám takový pocit, že si ze mě ten Debian 11/12 dělá prdel. Po restartu většinou nemám problém a nahodí se to smysluplně, ale coldboot na supermicru mě nepřestává překvapovat. Nastavení affinity na "ff", se pak chová úplně náhodně. Určitě záleží i na síťovce ... Mám tu teď mellanox connectX-6 a ten se při coldstartu nikdy nenastaví správně, ale po restartu je dobrý. Stejně se mi chovala i intel xxv710.

Jediný co mohu říci s jistotou je to, že na MK ROS to bylo vždy špatně. ...... Ještě že se tyhle věci dají řešit za běhu.

iTomB

pgb Ja vetsinou zmensim pocet front na sitovce a ty fronty nahodim na konkretni jadro 😉
244: 4090628867 0 0 0 0 0 0 1 0 0 0 0 PCI-MSI 94900225-edge i40e-eno12-TxRx-0
245: 0 2201205820 0 0 0 0 0 0 1 0 0 0 PCI-MSI 94900226-edge i40e-eno12-TxRx-1
246: 0 0 1026313444 0 0 0 0 0 0 1 0 0 PCI-MSI 94900227-edge i40e-eno12-TxRx-2
247: 0 0 0 3400813796 0 0 0 0 0 0 1 0 PCI-MSI 94900228-edge i40e-eno12-TxRx-3
248: 0 0 0 0 2790237966 0 0 0 0 0 0 1 PCI-MSI 94900229-edge i40e-eno12-TxRx-4

Druha sitovka ma jine jadra a 2 si nechavam na zbytek 😉

felix

iTomB Taky si nechavam 2 jadra na sluzby atd. (taskset sluzeb na 2 posledni). Ma smysl ty 2 sitovky dat na odlisny jadra? Pri mych testech byl vykon stejny.

pgb

iTomB chápu, každý dle libosti a zkušeností .... nechat si volná jádra na zbytek proč by ne, dle chuti. Pokud jsem pochopil tvou myšlenku správně, tak uděláš to, že na 8 core cpu (aby se to hezky počítalo) uděláš následující:

na "eth0" nastavíš tři fronty a přiřadíš je na jádra 0-2
na "eth1" nastavíš tři fronty a přiřadíš je na jádra 3-6
mng, routing,.... nastavíš na na jádra 7, 8
............ Tahle konfigurace mi moc smysl nedává, nicméně proti chuti a když ti to dobře funguje tak proč by ne. Já razím normálně 8 front na interface a každé na CPU, ať z toho dostanu maximum (já tam mám většinou jen Bird a nula nula prd věcí k tomu)..... Sto lidí sto názorů, peace 🙂

miract

Jak se dá zmenšit počet front?

felix

miract ethtool -L nebo spis parametr pri nahozeni sitovky, zalezi na distribuci.

iTomB

felix Vykon by mel byt cca stejny, az kdyz by se to vic saturovalo. Rozdil bude v jitteru. Rozdeleni by melo mit lepsi jitter. Jedna se o to, ze kdyz sitovka zpracovava treba prichozi data, tak se to nezastavi treba pri prepnuti na jinou aplikaci (bezici na serveru) ci jine data co prijdou treba uploadem).

iTomB

pgb No a prave treba bird ci dalsi veci linuxu, ti budou spotrebovavat cas CPU, misto sitoveho zpracovani a zvysi se ti latence. Ono to neni o moc, ale vicekrat tam vidis jitter. Kdyz jsem to vic resil a mel jsem malej vykon, bylo to vic poznat. Ale ten princip je obecnej.
Ted kdyz mam vykon, tak razim porad to same, co jsem zkousel na mensim vykonu.
Jen jeste dodam, ze to jede L7 shaper, 2x dns, postfix, zabbix, web, bird (OSPF, BGP), mysql a par mych veci 😃

pgb

iTomB rozumím, já jitter vynáším do grafů a co monitoruji skrz router, tak se nehne ve špičce ani trochu. Asi dostatečná rezerva výkonu.

iTomB

pgb Hodne bude zalezet, kolik ostatniho ti tam co zere vykon. Kdyby ti tam obcas bezelo neco, co dokaze vytizit jadro, tak by jsi to vice videl.
Diky rychlosti packetu, tak ten jitter moc nezmeris, protoze to klidne muze byt jitter jen v ramci 100ms treba. Zas tak podrobne ho negrafujes.

pgb

iTomB jasný, proto na routeru skoro nic nemám. Líp se mi to udržuje a aktualizuje než kdy jsem tam míval hromadu dalších věcí. Ty běží jinde.

Edit: jedeš vigvam? Těším se

iTomB

pgb Ja mel taky drive 2 servery za sebou, NAT + par veci a dalsi shaper. No pak jsem optimalizoval a jedu na jednom, taky mi to staci 😃
Chtel jsem si delat vlastni failover, ze jeden dela neco, druhej neco a kdyz jeden padne, tak ten druhej plne prebere jeho funkce. Jen nebyl cas 😃

iTomB

Ted jsem zkousel shaper, kolik mi zere CPU.
Cca 1Gbps kolem 3% CPU. Ale mohl bych to vice skalovat, jedu to hodne jinak nez vetsina. Planuju to vice rozdelovat do stromu jeste, ale neni na to cas se tomu ted povenovat.

pgb

iTomB já nemám dva za sebou. Jedu shaper + nat + routing na jedné mašině a služby DNS/weby/virtuálky/atd na jiné. Nikdy jsem neměl za sebou dva stroje - jeden pro nat a druhý pro shaper.

iTomB

Pamatuju si Krystofa, jak pred hodne lety v Ostrave prednasel, jak jim pri 100Mbitech, L7 priorizaci VoIP nestihal server. Tak jsem mu tehda ukazoval muj server s L7 s full priorizaci, kterej v te dobe jel v radu x100Mbps a stihal L7 😃. Dneska jedu par Gbps s full L7 a v pohode. Diky optimalizaci 😃
Kdybych si pohral se sitovkama a dokazal routing + obyc shaper treba 40G, tak myslim ze by bylo mozne i tohle jet na L7, tak jak to mam.

iTomB

pgb No nejedes 2 za sebou, ale vlastne vedle sebe 😉
Ja nemam virtualky a weby bezne. Jen pro sebe. Proto nemam uplne potrebu to resit na dalsim serveru. Takze mimo DNS, posty a zabbixe to mame cca stejne 😉.
Kolik ti zere vykon a co mas za CPU?
12 jadro Intel(R) Xeon(R) D-2163IT CPU @ 2.10GHz
load average: 0.36, 0.63, 0.48
cca 20% a trafik 2G

pgb

iTomB Já tam toho mám vícero, ti pak můžu povykládat osobně. Jinak ano, vedle sebe každý na něco jiného. Já to z tvého příspěvku původně pochopil tak, že jsi měl dva stroje pro "tok dat".

Intel(R) Xeon(R) E-2246G CPU @ 3.60GHz
6 jader (vypnuté HT, z nějakého historického důvodu a nebyl čas a potřeba to řešit. .... je to na todo 🙂 )
Load average: 0.03 0.08 0.11
cca 18% při 3Gbps, Nejvíc mi žere export flow. Když vyhodím flow export tak 13/14%, když z cake třídy udělám fq_codel tak jsem na 11%. Shaper tak lehce a bezpečně neshodím .... to zkoušet nebudu.

« Předchozí stránka Další stránka »