pgb samozrejme suhlasim, 40Gbit QSFP+ je starsie rozhranie a nema buducnost. Lepsia cesta by bola ist smerom 100Gbit. My sme uz ale pred par rokmi isli do cesty pripravy upgradu z 10 na 40 a vtedy sa o 100G moc ani nehovorilo a 40G bolo dostupne , takze sme mali roky pripravene 40G no a v case zmeny uz bolo zase 100G dostupne...kvoli velkej investicii v minulosti sme to chceli vyuzit, tak sme isli cestou 40G. Ked nebude 40G stacit vieme ist este 2x40G co mame tiez uz nachystane...a az o par rokov ak budeme este ako lokalny isp existovat bude mozno skok na 100 alebo 2x 100G...toto su ale cisla ktore vela userom tu nic nehovoriq, kedze casto sa stretavam este s 1 ci max 10G branou ktora ma este svoje rezervy.
Tx/Rx Errors a Tx/Rx Drops
Zakoupil jsem tedy DAC kabel od Maxlinku, přesně MaxLink 10G SFP+ DAC kabel, pasivní, DDM, 2m, přepojil a situace stejná, tj. RX errory naskakují dále. Jde v průměru o 0,013% k celkovému přenosu. Učím se na to nekoukat, protože na nic to nemá vliv, nicméně napadá ještě někoho něco? V serveru je 2port supermicro karta tak, jak ji asi mnoho z vás taky využívá. Pořídil jsem sice ještě MaxLink 10G SFP+ optický modul, SM, 1310nm, 10km, 2x LC konektor, DDM, ale tam bude výsledek asi stejný, pokud bych ten DAC kabel odpojil a přehodil na gibicy.
- Upraveno
to si měl spíš koupit AOC kabel. Je to uvnitř optické a je to galvanicky oddělené. DAC je stále spojen kovem.
Nám se errory kdysi valily kvůli absenci stínění na kabelu resp. doslovného propojení šasí-šasí klidně i extra kabelem mezi routerem a pojítkem a errory byly pryč.
Kartu máš STGN-I2S?
Osobne si myslim, ze aj ked vymeni kable, dac alebo moduly, ze stale to bude jeden a ten isty problem...v nejakej verzii mikrotiku sme mali vyslovene 2% stratu, viditelnu aj na klientoch aj dohlade...po upgrade ros zazracne loss zmizol....a ten drop tak ako sa tu riesi...proste nejaky tam bude stale v malej miere.
- Upraveno
hapi Kartu mám AOC-STGN-I2S. Měl bych ji vyměnit, pomůže mi v něčem výměn za https://smicro.cz/supermicro-2-port-10g-sfp-intel-x710-aoc-stgf-i2s-o ?
hapi Co se týká uzemnění a propojení, tak mám uzemněný rack a přes zemnící kolíky připojen zemnícím kabelem switch, šasí serveru a další prvky, mám natažený i zemnící kabel mezi racky (dvěmi, co mám). Diskuzi, kde jsi o tom psal v minulosti si pamatuji, je o tom tady diskuze v nějakém vlákně. AOC kabel jsem objednal, nicméně zkusím to přes ty maxlink moduly + optika.
hapi Rozumím, ohledně RX errors se to dá těžko odhadovat. A co přechod z pci express 2.0 na pci express 3.0, protože ta má karta ještě jede na 2.0 a ta novější https://smicro.cz/supermicro-2-port-10g-sfp-intel-x710-aoc-stgf-i2s-o už na 3.0. Tady nejde poznat nějaký rozdíl z hlediska odbavení front apod.?
Na aliex. se dají ty karty koupit oproti našim eshopům za 1/3 ceny. Kupoval je tam někdo? Např.
https://www.aliexpress.com/item/1005006762448665.html?spm=a2g0o.productlist.main.37.42895d202fX0AW&algo_pvid=e326100a-8c1f-4ba6-af9e-3b0678eabcfe&algo_exp_id=e326100a-8c1f-4ba6-af9e-3b0678eabcfe-18&pdp_npi=4%40dis%21CZK%212619.52%212619.52%21%21%21786.50%21786.50%21%4021039ceb17280395580758246e524c%2112000038218687563%21sea%21CZ%21164317703%21X&curPageLogUid=UrTJXuWahk58&utparam-url=scene%3Asearch%7Cquery_from%3A
PCIe v2 nevadí. Je tam hodně linek a rychlosti je více než dost.
- Upraveno
hapi Přináším další odpovědi. Ať jsem zkoušel DAC, AOC, maxlink moduly apod. RX error je tam pořád +- stejné procento 0,014 přibližně. OK, smířil sjem se s tím. Protože mám náhradní GW, koupil jsem do ní https://smicro.cz/supermicro-2-port-10g-sfp-intel-x710-aoc-stgf-i2s-o a chtěl jsem to zkusit ještě s ní a zde jsem narazil na to, že jakmile udělam nějakou změnu u optického iface, např. změním jen vypnu a nebo zapnu funkci auto negotiation a nebo změním rychlost z 10G base T na 1G base T full, tak se ten iface vypne, respektive je stav NO LINK a jediné co pomůže je, že musím vytáhnout kabel ze šachty a dát ho nazpět. Zkoušel jsem více verzí routeros 7.16, 7.16.1, 7.14.1 a vždy to stejné. Jakmile jsem tam vrátil kartu AOC-STGN-I2S, vše je stabilní a chová se dobře. Náhradní GW jsem i resetoval do továru, abych měl jistotu, že nemám někde chybu a žádná změna. Je pravda, že hodnotu rychlosti jednou nastavím a nebudu na tu kartu sahat, nicméně mám obavy, aby se ten link neztratil sám od sebe, prostě na to není spoleh. Je prosím nějaký extra požadavek na kartu intel X710 oproti AOC-STGN-I2S? Strávil jsem tím už hodiny, no beru to aspoň tak, že se něco naučím. Děkuju za rady a typy.
Rozdál mezi kartama vidím jen PCIe v2 vs. PCIe v3 a pak na intel X710 má navíc možnost zapnout/vypnout FEC kontrolu. I když sjem nastavil FEC na off, taky se nic nezměnilo a chovalo se to pořád divně. komunikaci jsem zkoušel mezi GW a RB4011 a mezi GW a Edge-core ECS4120-28T.
v nastavení u portu je FEC režim. Přepni ho na off. Pak kabely linkovaly ok. Ale dodavatel mi posílá verzi karty od Intelu. Jsou kupodivu levnější a tam jsem neměl problém. Ani zákazníci nic nehlásí.
hapi Abych si jen potvrdil, že se dívám správně, tak je to tahle karta? https://www.tsbohemia.cz/intel-ethernet-converged-network-adapter-x710-da2-bulk_d242188?utm_source=google&utm_source=google&utm_medium=srovnavac&utm_medium=cpc&utm_campaign=MAX+-+Elektronika&utm_id=16521675061
nebo na Anafře https://smicro.cz/intel-ethernet-converged-network-adapter-x710-da2-inx710da2blk-5
ano, tu z anafry osazují. To je přesně ona ale asi v tom nebude rozdíl.
- Upraveno
hapi Vypl jsem tedy na testovací GW a na RB4011 FEC a zlobí to pořád dál, tj. jakmile např. změním na GW autonegotiation z enable na disable, link se na GW rozpojí a nepomůže vypnuti/zapnutí iface, nepomůže ani reboot GW, pomůže až samotné vytažení oprického kabelu z gibic. Jinými slovy supermicro X710 je nepoužitelná momentálně v mikrotiku? Zkusím časem tu intel x710, jen se bojím, aby to nebyly další zbytečně vyhozené peníze.
Link na RB4011 je v pořádku, tam se to hlásí jako running s písmenem R u iface, druhá strana, tedy GW píše rate unkown a no link. To, co pomůže je jen to, že musím u RB4011 udělat vypnutí/zapnutí iface, pak je na GW karta ve stavu running.
Po různém kolečku změn, jsem přišel na:
Jakmile jsem udělal tohle kolečko, vypl FE na GW, na RB4011, vypl a zapl iface na GW a pak na RB4011, teprve pak se to rozjede a můžu si v nastavení karty měnit co chci a link drží. Problém je ovšem ten, že stranu WAN v GW mám připojenou do switche, kde nemám přístup.
Nicméně není na to spolehnutí, v jednom z xx změn se link rozpojí a musím jít zase na RB4011 a iface vypnout a zapnout. Tohle nemůže do reálného provozu. Ano, jednou nastavím a nesahám na to, ale ten neklid, že se může něco...
Měj jsi prosím podobnou zkušenost u té supermicro karty a nebo jsi hned šel do intelu a tohle jsi nezažil v takovém měřítku?
- Upraveno
a není to spíš v té RB4011? fixni tam speed ručně.
Anafra mi vždy poslala tu vyrobenou Intelem takže s tou supermicro zkušenost nemám.
- Upraveno
hapi Na té RB4011 si to jen zkouším, ale ok, rychlost jsem tam fixnul, nicméně jsem po všech možných kombinacích zjistil, že musí být nastaven tx a rx flow control na auto a pak to světe div se drži i při změně např. autonegotiation apod. Jak může flow control do toho vstupovat, když obě strany jsou 10G base T, nemůže předce dojít k zahlcení, tím pádem by flow control do toho neměl vstupovat včetně pause rámců? Vysvětlí mi to někdo prosím?
Jakmile to mám takhle nastavené, je jedno zda je na RB4011 FEC v režimu auto nebo off, zda je tam fixnutá rychlost nebo ne, na GW vše drží i při změně např. auto negotiation a nebo i v případě, že je na x710 nastavene FEC na auto. Jinými slovy do toho nějak kecá jen a pouze flow control.