Mikrotik shaping 5Gbps

zero

Díky. Tato pravidla jsou mi jasná, ale použití a manglování established a related v souvislosti s tímto stromem již méně.

established a related nema s manglem nic spolecnyho, to si dej do firewallu

patrik_

established a related nema s manglem nic spolecnyho, to si dej do firewallu

Díky.

Teď už jsem doma. Původně jsem se lekl že mi utekla nějaká novinka v manglování.

draslik

klasická stará Supermicro stgn-i2s alias x520 alias i82599ES. Daji se na ebay sehnat za pár kaček. Nevýhoda všech těhle chipů je vybíravost SFP+ modulů. Tomu se dá ale předejít. Modul Intel FTLX1471D3BCV-IT SM je dělaný přímo pro tuhle kartu a opět na ebay se dají sehnat za pár kaček. Vzhledem k tomu kolik tyhle značkový věci vydrží, není třeba se obávat o životnost. Jenom je člověk nesmí strčit do "nějakýho" pc šáska a nechat je jenom tak bez profuku vzduchu. Rádi topí a chlazení je přítel č. 1. U Supermicro šasí většinou lze přemístit větrák tak aby profukoval prostor pro pcie karty.

Dál sem slyšel že chipy na kartě s intel x540 by měl taky fungovat pod mikrotikem. Pokud někdo má linux tak tam funguje vše. Netrpělivě čekáme na mikrotik v7, tam už nový karty fungují také.

Dom modul myslíš jako ssd disk? Já osazuju teď už pouze superdom od supermicra. Běhá jich už desítky a ani jeden nezklamal. No a navíc se nechaji napájet přímo ze sata portu na většině supermicko deskách takže je to i elegantní a bez kabelů.

Díky moc za rady. Ještě bych požádal o typ na osvědčenou Gbit síťovku se čtyřmi porty. Jako desku můžu použít třeba https://www.supermicro.com/en/products/ ... d/X11SCW-F?

hapi

Supermicro SGP-i4.

Pozor na tu desku. I když jde o WIO tak do ní sice pasuje běžná WIO riser redukce na pcie ale nefunguje správně. Tohle je nový formát pro WIO protože WIO nikdy nebyl na tyhle patice LGA11xx a je třeba jinej riser. Je to RSC-W-68. Klasickej RSC-R1UW-2E16 tam sice jde ale nefunguje druhý pcie port. K desce výtky nemám, sám sem teď tyhle 3 kusy dodával do routerů. Dneska je výhoda že tam lze osadit i 6core cpu a za pár týdnů/měsíců bude na trhu i 8core verze což je pro tento cenový segment naprostá bomba a nemusí se platit za desku s paticí pro xeony e5.

erotel

Když to tak čtu,jsem rád,že jsem vedoucího přesvědčil, aby se zachovala GW na linuxu.

root@igw:~# iptables -t mangle -L --lin -v

Chain FORWARD (policy ACCEPT 1038M packets, 1462G bytes)

num pkts bytes target prot opt in out source destination

1 538M 1326G SET all -- eth0 any anywhere anywhere map-set qos dst map-prio

2 500M 136G SET all -- eth2 any anywhere anywhere map-set qos src map-prio

hapi

tvoje reakce nedává smysl. vysvětli.

ludvik

Ale jo, dává ...

I'm happy to announce ipset 6.22, which, besides bugfixes and corrections,

includes the new set type hash and the skbinfo extension from Anton

Danilov. The skbinfo extension makes possible to store fw mark, tc class

and/or hardware queue parameters together with the set elements and then

attach them to the matchig packets by the SET target. Example

ipset create mark_values hash:net skbinfo

ipset add mark_values 8.8.8.8/32 skbmark 0x1/0xffff

...

iptables -t mangle -A OUTPUT -p tcp -o iface -j SET --map-set mark_values dst --map-mark

To je ještě lepší, než to moje! :-) Místo targetu CLASSIFY v mangle se udržuje jen jeden ipset. Krása. Ještě tam dodělat stejnou možnost pro NAT ...

pepulis

Jak prosím co nejlepe shapovat provoz tak, aby i pri vytizeni linky skoro na max. se nezvedala odezva? Dejme tomu ze mam linku 2Gbit a v okamziku kdy v QT nastavim max-limit na 1,9Gbit, i tak pri vytizeni na maximum se linka nezbrzdi tak rychle, aby se nedostala na hranici uvedenych 2Gbit. V podstate se s tim setkavam jiz od nepameti - kdyz jsem nakupoval 300 Mbit, 600 Mbit atd.

Podotykam, ze linku mam s rezervou, vytizeni jsem nasimuloval ja sam stahovanim souboru z debian.org atd. , tj. k uvedenemu stavu by nemelo nikdy dojit. Ptam se proto, abych se necemu priucil, domnival jsem se, ze rezerva 100 Mbit staci k tomu, aby se trafik zbrzdil a nedosahl uvedenych 2Gbit. Jako queue type vyuzivam SFQ a ethernet-default mam prenastaven na pfifo a queue size na 5000. CPU count 8, procesory do 10% zateze.

Dekuju za nazory.

jenya

hapi klasická stará Supermicro stgn-i2s alias x520 alias i82599ES. Daji se na ebay sehnat za pár kaček. Nevýhoda všech těhle chipů je vybíravost SFP+ modulů. Tomu se dá ale předejít. Modul Intel FTLX1471D3BCV-IT SM je dělaný přímo pro tuhle kartu a opět na ebay se dají sehnat za pár kaček. Vzhledem k tomu kolik tyhle značkový věci vydrží, není třeba se obávat o životnost. Jenom je člověk nesmí strčit do "nějakýho" pc šáska a nechat je jenom tak bez profuku vzduchu. Rádi topí a chlazení je přítel č. 1. U Supermicro šasí většinou lze přemístit větrák tak aby profukoval prostor pro pcie karty.

Dál sem slyšel že chipy na kartě s intel x540 by měl taky fungovat pod mikrotikem. Pokud někdo má linux tak tam funguje vše. Netrpělivě čekáme na mikrotik v7, tam už nový karty fungují také.

Dom modul myslíš jako ssd disk? Já osazuju teď už pouze superdom od supermicra. Běhá jich už desítky a ani jeden nezklamal. No a navíc se nechaji napájet přímo ze sata portu na většině supermicko deskách takže je to i elegantní a bez kabelů.

A co DAC kabely, ty by v x520 fungovaly?

kamilj

Nejvýhodnější optimalizace je použíti HASH tabulky

QoS na Linuxu: Filtr U32
https://habr.com/en/post/138463/

Zde máte vyčerpávající informace pro optimalizaci serveru
https://ispforum.cz/d/30408-shaping-na-linuxu-problem/10

matess

máte někdo zkušenosti s HP NC523SFP QLE3242? Nasazujeme je, ale ani s ryzen 9 3950x, s vypnutým SMT a 12ti jádry pro ROS (4 jádra pro core linux a síťovku) to nemá dost výkonu a někdy se to náhodně ucpe pod 2Gb/s. Nevím jestli je problém v síťovce, nebo jestli 15000+ řádků v mangle / 9000+ řádků v queue tree není prostě moc. Mangle je optimalizovaný řekl bych správně, queue tree máme 6x vnoření (nevím jestli tohle je ten správný termín), ale některé páteře jsou opravdu dlouhé no...

Co se týká té rychlosti serveru... je to asi 2x výkonější jak CCR1036, a někdy to zvládne 3Gb/s a někdy se to ucpe u 1,6Gb/s.

hapi: ptám se tebe jako asi nejzkušenějšího - je hloubka stromu problém?

dac kabely s touto síťovkou fungují na jedničku.

pgb

matess jsou ty větve v mangle ukončeny acceptem?

ludvik

matess Důležitější údaj je počet paketů za vteřinu. Na tom stojí a padá výkon routerů. Gigabity jsou nezajímavé.

kamilj

matess
Velmi výhodné a výkoné adaptéry jsou od Intelu X710 a 82599. Odladěný drv v kernelu.
Kolik uvedená karta může zpracovat front 8,16,64,128? Nepíšou.
Používáte affinyty? Paketová fronta na kartě propojena do určitého jádra a přiřazena k přerušení.
Kolik mám jader tolik zapínám front. CPU 12 jader = 12 font na kartě.
V žádném případě nepoužívat irqbalance!!
Linux Network Scaling: Receiving Packets
https://garycplin.blogspot.com/2017/06/linux-network-scaling-receives-packets.html
https://www.kernel.org/doc/Documentation/networking/scaling.txt

Špičkový monitori síťové vrstvy a CPU front pro ladění.
https://habr.com/en/post/331720/

Zde máte perfektně znázorněné funkci HASH tabulky pro TC U32
https://habr.com/en/post/138463/

ludvik

Pravidlo CPU=fronty není v praxi úplně vhodné. Záleží na situaci, ale pokud na tom routeru musí běžet i něco jiného (typicky OSPF, či BGP), je lepší nechat alespoň jedno jádro volné.

kamilj

ludvik
Ano souhlasím, pro služby jedno jádro OK.

ef

ludvik Proces BGP pak sedí jen na tom jednom jádře? Které není obsaženo frontou že síťové karty? Nebo to je nutné definovat?

kamilj

ef
Vše dopodrobna rozpracované a vysvětlené
40GbE směrovač pro operační systém GNU/Linux
https://www.vutbr.cz/studenti/zav-prace?zp_id=88683

pgb

To je složitější, pokud je mi dobře známo, tak je to obecně trochu problém řídit kde se co spustí. Jádro obecně strká programy tam kde je volno. Třeba bird je multicore, quagga jednovlaknová. Pomocí taskset nastavíte jednotlivý program, ale zbytek systému si poběží kde chce.

Edit: tak jde excludovat jádra přes taskset ....
https://www.google.com/amp/s/www.looklinux.com/how-to-run-process-or-program-on-specific-cpu-cores-in-linux/amp/

Z článku, musíte editovat už zavaděč aby to naběhlo jak chcete:
cpuidle.off=1 :- Do not make cpu idle
isolcpus=0,1 :- Core 0 and 1 are isolate (reserved)
maxcpus=6 :- Use only 6 cores out of 8 cores of system
idle=poll :- Poll forces a polling idle loop

kamilj

pgb
Jen doplním
CPU Affinity Howto
https://www.linuxsecrets.com/2983-cpu-affinity-howto

Další stránka »