QSFP+ 40Gbit, x86, Mikrotik V7

hapi

Zdar, provozuje někdo takovou kartu (Supermicro AOC-S40G-I2Q)? U QSFP+ je víc variant a nevím co všechno mikrotik zvládne na x86. Chápu že propojení QSFP+ proti QSFP+ asi bude ok. Co když budu chtít použít QSFP+ proti 4xSFP+ (Mikrotik Q+BC0003-S+)? Mám switch co má pouze SFP+ a router s QSFP+. Jak se to pak bude chovat? Samo to bonduje nebo se ukáže další 4 interface které pak zbonduji?

Díky za zkušenosti.

ef

hapi 40Gbps fungují standardně. Dají se přepnout do módu 2x40 nebo 4x10. Tím se přijde o jeden port. Pokud máš na druhé straně switch, který má jen sfp+ porty a umí 4x10 (v nastavení jde zapnout že ty 4 budou jako jedna 40G) tak jde ten DAC kabel krásně použít. Čili v PC na Mikrotiku se tváří karta jako 2x qsfp+ ve switchi 4 porty jako jedna 40G. Switch třeba arista, co se tu nedávno inzerovala. Pokud se přepne na 4x10, je nutné porty bodovat, nebo na nich routrovat každý zvlášť. Prostě se to tváří jako 4 sfp+ porty. Ale pak, jak jsem psal, přijdeš o jednu šachtu na kartě.

majklik

Tuhle kartu ne a co to udělá v x86 netuším. Ale když použiješ tu čtyřocasou kočku s 4x 10 Gbps, tak to v RBčku vidíš jako 4 interfejsy qsfpplus1-1, qsfpplus1-2, qsfpplus1-3, qsfpplus1-4 a každy používáš samostatně. Jsem pomocí toho káblu Q+BC0003-S+ rozbíjel 40 Gbps porty na 4x10 Gbps v CRS354-48G-4S+2Q+.
Já trochu válčil s variantou 4x 25 Gbps. Ve FS.com switchi 100 Gbps port a z něj čtyřocas 4x 25 Gbps do CCR2004-1G-12S+2XS, tak chvíli boj nastavení parametrů portu sfp28-1/2 v Mikrotiku, aby se to synclo. U toho 4x 10 Gbps jen stačilo správně nastavit navrdo obě strany, že je to 10 Gbps.

hapi

nechápu proč by to přišlo o jednu šachtu. O co pak přijdou jednoportové karty?

ef

hapi Protože karta má jen 4x MAC adresu. Prostě pokud se v BIOS karty přepne na 4x10 tak se v Mikrotiku objeví 4x 10Gb síťovka. I když má karta dvě 40Gb šachty.

gemb

Nase skusenosti su len s dvojportovou kartou Intel XL710 - v systeme s intel xeon E-2388G, supermicro doska. Toto nefungovalo vobec, QSFP+ na 40G sa linklo napr samovolne po polhodine alebo hodine...ani link na tvrdo nepomohol, skusane rozne znacky a dlzky dac a aoc kablov. Ked nabehol link islo to len to bolo nespolahlive aby to takto fungovalo.
Dali sme kartu mellanox connect x3 pro - tam to ide bez problemov, voci switchu CloudEngine S6370 (huawei)

vdr

Mám kartu XL710 - link je OK, linkuje jak má.

Jediné co nefunguje, tak je VRRP. Pokud jsou 2 nody na QSFP+, tak v případě výpadku a obnovení oba nody zůstanou v řežimu MASTER.

Mikrotiku hlášeno a vědí o tom, že je tam bug.

majklik

vdr Jediné co nefunguje, tak je VRRP. Pokud jsou 2 nody na QSFP+, tak v případě výpadku a obnovení oba nody zůstanou v řežimu MASTER.

V ROS7 měli těch VRRP bugů povícero. Šlo hlavně, že vrrp nerespektovalo stav podkladového iface, nehlídalo správně stav, zda podklad je ve stavu up/down a výsledem bylo, že VRRP přešlo na víc místech do master stavu. Tohle ale je nějakou dobu opraveno, aspoň na normálních rotuerboardech. Ale mohou v tom mít nějakou specifikou botu pro daný HW.

hapi

takže to máš na x86, RouterOS, XL710 a máš tam tedy převodník QSFP+ na 4xSFP+? Jak to tam zastrčím tam se ukážou 4 interface per šachta? Na switchy stačí pak dát LACP a na x86 také?

vdr

hapi Ano, je to tak jak píšeš.

Jinak vše ohledně 4x10 Gbit máš popsáno zde: https://cdrdv2-public.intel.com/332464/332464_710_Series_Datasheet_v_4_1.pdf

hapi

hmm, aha, takže to snad bude i lepší když použiji 2x 4x10Gbit kartu než 2x40Gbit s DAC na 4x10Gbit. Musím si to promyslet.

Datasheet píše zajímavé věci, třeba že max i pro 2x40Gbit verzi je stále jenom 40Gbit protože chip má maximálku 40Gbit.

paleto

Ahojte,

ma niekto z vas nasadenu kartu xl-710-qda2 na routeros 7? Hlavne ma zaujima IRQ, lebo sice podpora tam je, karta funguje ale neni mozne priradovat IRQ k jednotlivym jadram, pise tam READ-ONLY. Pritom vo verzii 7.19 je aj aktualizovany driver i40e pre sietove karty xl-710. Ma niekto skusenosti so spominanou sietovou kartou? Vdaka

ef

paleto Mam a úplně stejné.

paleto

ef Diky, Tak to je skoda, ja som vsetko skusal, ci aktualizovat firmware na karte, rozne nastavenia v biose, ale nic z toho nepomohlo. Otazka este je ako by to fungovalo so zapnutym RPS na routerOS. Inak som objednal ConnectX-3 pro Dual Port QSFP+ ze vraj podpora by tam mala byt a daju sa velmi lacno zohnat tieto karty.

hapi

nikde se to nedá nastavit ale taky nikde jsem neviděl že by to byl konkrétně s touto kartou problém takže IRQ u této karty neřeším. RPS vypnuté.

vdr

hapi A co VRRP funguje?

Jaká verze MK v7 je stable?

paleto

hapi Takze sice IRQ sa pri tejto sietovej karte manualne neda nastavit, ale zataz rozdeluje podla potreby na vsetky cpu jadra?? Lebo ja tam mam pri vsetkych IRQ auto a priradene jadro 0, ale zatial som to netestoval.

hapi

paleto přesně tak

gemb

Aktualne riesime taky zvlastny problem. x86 supermicro, 8 Core Xeon +32GB Ram. Sietovka 2x QSFP+ 40Gbit a 2x SFP+ 10Gbit. Pouzitý je 1x 40 a 1x 10Gbit port. ROS 7.20.6, povodne to bezalo na 7.14.3 ale problem je rovnaky...zmena ROS neriesi nic.
Problem mame s dropovanim paketov v kombinacii s divnym chovanim vytazenia CPU. Mikrotik samozrejme kvoli HT ukazuje 16 jadier a proste niekedy sa stane, ze niektore jadro zostane bezat na 90 - 100% co sposobuje dropy. Ked sa da reboot tak po reboote to nabehne a fungune normalne, len otazne dokedy. Niekedy den, niekedy viac. Inak to CPU ide priemerne na 25%.
Traffic na 40G porte je cca 25 Gbit (rx+tx) a na 10G porte cca 5Gbit (tx+rx). Bezi tam routing, firewall, nat a vlan-y. Nerobi to shaping.
Na sietovkach permanentne nabiehaju RX error. Ked CPU nieje seknute na 100% tak dropy nenabiehaju, ak je tak nabiehaju RX dropy. Realne nam to spravi paket loss 2-10% podla trafficu co je tym padom uplne v prdeli.
A teraz v com je ten problem...
Myslel som ze tie errory su kompatibilita, problem s DAC / AOC kablom, alebo FEC..ale na nic som nedosiel. FEC mame nastaveny na auto. 40G port je prepojenie 15m kablom AOC do Huawei switcha. 10G port je DAC kabel 2m do nejakeho cisca. Paradox este je, ze na tom 10G porte errory neboli a po poslednom reboote su uz aj tam.

interface je nastaveny na multi queue ethernet default a type mq pfifo, size 8192 packets

Uplne identicky x86 HW pouzivame na iny ucel ale tiez Mikrotik v 7.20.2. Tam sa tiez stalo, ze CPU sa zasekol na 100% (jedno jadro) ale po reboote to drzi a tam sietovka nedava ziadne errory ani dropy. Zapojeny je len 40G port 3m DAC kablom do switcha. Traffic na porte cca 20Gbit (tx+rx) CPU chodi tak 12%

V com hladat problem, ake nastavenia riesit, lebo uz je to cista zufalost, riesit taketo problemy na dost podstatnej casti siete...vobec ma nebavi laborovanie s mikrotikom a idealne by som to vyhodil a dal nieco funkcne....lebo x86 MK fungoval dobre tak do 9Gbit (ine starsie X86 supermicro) s ROS 6.xx....Odkedy je ROS 7.xx tak stale nejaky problem sa s tym musi riesit...

hapi

QSPF je x710?

Vypni HT.

gemb

hapi Preverim, ale zo sietovkami sa bojovalo, myslim ze je to melanox ale presne oznacenie zistim.
edit: Je tam toto Mellanox CX314A ConnectX-3 Pro 40GbE Dual-Port Ethernet QSFP NIC

gemb

hapi HT vypnute, MK teraz vidi len 8 core cpu, rovno sa to nahralo na prvu long term verziu 7.20.7. uvidim co to povie v zatazi...errory na sietovkach stale nabiehaju...

Další stránka »