Dvě x86ky s i3-8th a síťovky X520-DA2, zapojeno pomocí DAC kabelů do DCN switche. Errory ne, TX dropy na VLANách ano.

error je hw chyba. Dojde špatný paket kterému nesouhlasí CCR = error.
drop je sw chyba/overflow. Příchozí paket není kam uložit, plný buffer v ethernet chipu = drop.

Drop občas bývá u RB i na ostatní věci třeba na multicast nebo pakety o flow controlu. Asi nejsou brány jako provoz pro router samotný a počítají se tam.

je třeba také vzít v potaz že x86 na v6 ani jedno většinou neukazuje ale v7 už ano.

TX dropy většinou řeší zvětšení velikosti fronty v queue na interface. RX dropy ne.

Pomáhá ručně přiřadit IRQ na jádra pěkně postupně a vypnout RPS pokud má ethernet multi IRQ.

Já třeba mám na GW s X710 průměrně za den 0.1 pps errorů a 0.02 pps dropů. Ale jenom na vstupním iface, Na iface do sítě to je 0.025 pps a 0.037 pps. A mám tam jednu vlanu na každém iface.

Asi bych mohl zkusit vyměnit moduly.

    Jen taková moje osobní zkušenost k podobné věci s 10G moduly/DAC . Mám v racku propoje na 10G, ať už DAC nebo přímo optické moduly a často se mi po nějaké době stalo, že se začala objevovat ztrátovost. Nikdo nic nereportoval, na první pohled nikde nic nezlobilo, jen na grafu se začala objevovat marginální ztrátovost (2x za den), která byla docela ustálená (měsíce) a pak se z ničeho nic zvedla výrazně a zase klesla. Ztrátovost se zdála minimální, ale zajímavé bylo, že se objevovala na všech grafech které přes ten router fungovaly a to v různých časech. Když si pak "promítnete" ty grafy přes sebe tak už to tak marginální nebylo.

    Měl jsem DAC od mikrotiku, různé OEM moduly na 10G. Výměna switche/síťovky/konfigurace front nepomáhala. Co pomohlo byla výměna DAC/optiky za nový. Náhle žádný problém nebyl, bohužel po půl roce se začal problém zase plíživě objevovat. Nakonec jsem skončil u obyč DAC z discompu pod jejich značkou Maxlink a k mému překvapení fungují už dva roky. Věřím tomu že kdybych koupil "pořádnou" značku hned na začátku, tak bych problém neměl. Nyní na uptimu 150 dní mám na celém routeru 3x rx-error, cca 1000 rx-drop a na Tx 0error/drop

    Takže za mě zkusit vyměnit propoj je to nejlehčí co se dá zkusit.

    • gemb replied to this.

      pgb my pouzivame 90% maxlink moduly aj maxlink dac kable - okrem jedineho modulu nebol problem...a ten jediny proste vymrzol a nesiel...stacilo vypat/zapat interface a rozbehol sa. Pri 40G to ale nie je take jednoduche, tam sme narazili na problemy s kompatibilitou, niektore DAC nam ani nefungovali, nebolo mozne donutit ani switch ani x86 aby to linklo...nakoniec sme brali dac aj aoc z FS.com, to islo nasupu a drahe to nebolo.

      • pgb replied to this.

          gemb Jsem rád že ty moduly z fska chodí. Já jsem dospěl k názoru že 40G je slepá cesta. Jedná se o můj osobní názor. Je to z důvodů že 40G je 4x10G, kdyžto 100G je 4x25G. Navíc existuje většinou kompatibilita u sfp28 až do 1G sfp. Možná s tím leckdo nebude souhlasit, hádat se nehodlám. Nicméně i na lupě vyšel článek od quantcom k zamyšlení ... "Je pětadvacítka novým desetigigabitem?"

          • gemb replied to this.

              pgb samozrejme suhlasim, 40Gbit QSFP+ je starsie rozhranie a nema buducnost. Lepsia cesta by bola ist smerom 100Gbit. My sme uz ale pred par rokmi isli do cesty pripravy upgradu z 10 na 40 a vtedy sa o 100G moc ani nehovorilo a 40G bolo dostupne , takze sme mali roky pripravene 40G no a v case zmeny uz bolo zase 100G dostupne...kvoli velkej investicii v minulosti sme to chceli vyuzit, tak sme isli cestou 40G. Ked nebude 40G stacit vieme ist este 2x40G co mame tiez uz nachystane...a az o par rokov ak budeme este ako lokalny isp existovat bude mozno skok na 100 alebo 2x 100G...toto su ale cisla ktore vela userom tu nic nehovoriq, kedze casto sa stretavam este s 1 ci max 10G branou ktora ma este svoje rezervy.

                pepulis tyto dávám zákazníkům ale určitě je v bráně nemám. Jeden tam je určitě co se dává k erikssonům a druhý nevím, možná FS. Maxlinků se taky nebojíme.

                  Zakoupil jsem tedy DAC kabel od Maxlinku, přesně MaxLink 10G SFP+ DAC kabel, pasivní, DDM, 2m, přepojil a situace stejná, tj. RX errory naskakují dále. Jde v průměru o 0,013% k celkovému přenosu. Učím se na to nekoukat, protože na nic to nemá vliv, nicméně napadá ještě někoho něco? V serveru je 2port supermicro karta tak, jak ji asi mnoho z vás taky využívá. Pořídil jsem sice ještě MaxLink 10G SFP+ optický modul, SM, 1310nm, 10km, 2x LC konektor, DDM, ale tam bude výsledek asi stejný, pokud bych ten DAC kabel odpojil a přehodil na gibicy.

                  to si měl spíš koupit AOC kabel. Je to uvnitř optické a je to galvanicky oddělené. DAC je stále spojen kovem.

                  Nám se errory kdysi valily kvůli absenci stínění na kabelu resp. doslovného propojení šasí-šasí klidně i extra kabelem mezi routerem a pojítkem a errory byly pryč.

                  Kartu máš STGN-I2S?

                    hapi Tak ať zkusí ty moduly + vlákno, to je funkčně to samé jako AOC.

                        Osobne si myslim, ze aj ked vymeni kable, dac alebo moduly, ze stale to bude jeden a ten isty problem...v nejakej verzii mikrotiku sme mali vyslovene 2% stratu, viditelnu aj na klientoch aj dohlade...po upgrade ros zazracne loss zmizol....a ten drop tak ako sa tu riesi...proste nejaky tam bude stale v malej miere.

                        hapi Co se týká uzemnění a propojení, tak mám uzemněný rack a přes zemnící kolíky připojen zemnícím kabelem switch, šasí serveru a další prvky, mám natažený i zemnící kabel mezi racky (dvěmi, co mám). Diskuzi, kde jsi o tom psal v minulosti si pamatuji, je o tom tady diskuze v nějakém vlákně. AOC kabel jsem objednal, nicméně zkusím to přes ty maxlink moduly + optika.

                          hapi Rozumím, ohledně RX errors se to dá těžko odhadovat. A co přechod z pci express 2.0 na pci express 3.0, protože ta má karta ještě jede na 2.0 a ta novější https://smicro.cz/supermicro-2-port-10g-sfp-intel-x710-aoc-stgf-i2s-o už na 3.0. Tady nejde poznat nějaký rozdíl z hlediska odbavení front apod.?

                          Na aliex. se dají ty karty koupit oproti našim eshopům za 1/3 ceny. Kupoval je tam někdo? Např.
                          https://www.aliexpress.com/item/1005006762448665.html?spm=a2g0o.productlist.main.37.42895d202fX0AW&algo_pvid=e326100a-8c1f-4ba6-af9e-3b0678eabcfe&algo_exp_id=e326100a-8c1f-4ba6-af9e-3b0678eabcfe-18&pdp_npi=4%40dis%21CZK%212619.52%212619.52%21%21%21786.50%21786.50%21%4021039ceb17280395580758246e524c%2112000038218687563%21sea%21CZ%21164317703%21X&curPageLogUid=UrTJXuWahk58&utparam-url=scene%3Asearch%7Cquery_from%3A

                            PCIe v2 nevadí. Je tam hodně linek a rychlosti je více než dost.

                              o 8 dní později

                              hapi Přináším další odpovědi. Ať jsem zkoušel DAC, AOC, maxlink moduly apod. RX error je tam pořád +- stejné procento 0,014 přibližně. OK, smířil sjem se s tím. Protože mám náhradní GW, koupil jsem do ní https://smicro.cz/supermicro-2-port-10g-sfp-intel-x710-aoc-stgf-i2s-o a chtěl jsem to zkusit ještě s ní a zde jsem narazil na to, že jakmile udělam nějakou změnu u optického iface, např. změním jen vypnu a nebo zapnu funkci auto negotiation a nebo změním rychlost z 10G base T na 1G base T full, tak se ten iface vypne, respektive je stav NO LINK a jediné co pomůže je, že musím vytáhnout kabel ze šachty a dát ho nazpět. Zkoušel jsem více verzí routeros 7.16, 7.16.1, 7.14.1 a vždy to stejné. Jakmile jsem tam vrátil kartu AOC-STGN-I2S, vše je stabilní a chová se dobře. Náhradní GW jsem i resetoval do továru, abych měl jistotu, že nemám někde chybu a žádná změna. Je pravda, že hodnotu rychlosti jednou nastavím a nebudu na tu kartu sahat, nicméně mám obavy, aby se ten link neztratil sám od sebe, prostě na to není spoleh. Je prosím nějaký extra požadavek na kartu intel X710 oproti AOC-STGN-I2S? Strávil jsem tím už hodiny, no beru to aspoň tak, že se něco naučím. Děkuju za rady a typy.

                              Rozdál mezi kartama vidím jen PCIe v2 vs. PCIe v3 a pak na intel X710 má navíc možnost zapnout/vypnout FEC kontrolu. I když sjem nastavil FEC na off, taky se nic nezměnilo a chovalo se to pořád divně. komunikaci jsem zkoušel mezi GW a RB4011 a mezi GW a Edge-core ECS4120-28T.

                                v nastavení u portu je FEC režim. Přepni ho na off. Pak kabely linkovaly ok. Ale dodavatel mi posílá verzi karty od Intelu. Jsou kupodivu levnější a tam jsem neměl problém. Ani zákazníci nic nehlásí.

                                  📡 Telekomunikace.cz