Redudantní L3 TOR switche do malých instalací

skrivy

Máme zákazníky, kteří chtějí mít své oddělené racky a hledáme pro ně redudantní páry L3 TOR switchů.

Běžné scénáře:

1/3 racku, 2 switche, 6 serverů
1/2 racku, 2 switche, 15 serverů
Ve všech příkladech 2x 10GE LACP uplink do našich 2 Arist v MLAGu

Do plných racků dáváme Aristy, ale dávat do racku o 6 serverech switche za 0,5M prostě nejde. Servery zapojujeme redundantně (na straně serverů LACP) do dvou switchů.

Parametry:

Reduntantní active-active FHRP (u Arist VARP)
L3 inter-vlan routing (dělají serverům gateway)
Redundantní zapojení serverů do obou switchů (u Arista MLAG)
12-24 portů 10GE SFP+
Plná podpora IPv6 (jedeme IPv6 only, takže je možné, že ty switche IPv4 ani neuvidí)
Provoz by měl jít přes ASIC
Je mi celkem jedno, jestli to bude stack nebo 2 oddělené switche - pokud to bude fungovat (a ano, rád chodím do serveroven, náhodně vytahuji kabely a zkouším, jestli to bude fungovat).
Rozumnou spotřebu (když máme na 1/3 racku limit 1,5kW, tak je nesmysl, aby z toho 400W sežraly 2 switche)

Nějaké nápady?

skrivy

fs.com

Parametricky nám do těchto scénářů naprosto sedí fs switche: https://www.fs.com/products/122280.html Cena a spotřeba super.

Akorát software je hromádka neštěstí. Co aktuálně víme, že nepodporují:

IPv6 VARP
IPv6 only snmp-server (dávat na managementy IPv4 vidím jako krok do minulosti)
Nemáme ještě pořádně otestované vrf pro management, abychom oddělili management provoz (ssh/snmp) od běžného provozu
Nic moc dokumentace

Ale zvážil bych je jako redundantí L2 switche, když před ně posadíme něco, co udělá L3.

skrivy

Mikrotik

Mají sice pěkné kousky, ale podpora hardware offloadu u MLAGu zdá se je stále v plenkách. Bojím se, že při blbé konfiguraci půjde provoz přes CPU a bude nám to rozbíjet cephy, které na tom většinou běží.

pgb

skrivy s panem Klímou jsem se dostal k pokusu sestavit mlag na Mk switchi 3xx a hnali jsme přes to data z generátoru a narazili jsme na periodickou ztrátovost v i intervalu cca 10s, kterou se za boha nepodařilo vyřešit. Jako by se neustále něco přepočítávalo - ale data tekla pořád stejnou trasou. Switche ukazovaly všude hw offload, nicméně CPU bylo na 100%.

justme

Cisco Nexus technologie
Koupíte dvojici hlavních, a pak už dokupujete do racků FEXy relativně za pár. Můžete kombinovat různě interfaces, vše v jednom managamentu.
V případě, že budete chtít udělat upgrade prostě vytrhnete jeden, nahradíte jiným, a jede se dál bez vetšího confení.

skrivy

justme Dobrý point. FEXy používat nechceme, když zákazník přejde jinam nebo ho přesuneme do jiné lokality, kde nebudeme mít nadřazené switche, tak mu zůstanou krabice bez duše. Navíc bychom museli agregační switche předělat na cisca a byli bychom ciscem svázani. Při testování jsme meli problém s PXE bootem při VPC, ale to byla velmi pravděpodobně konfigurační chyba. Mám ale 2 kusy skladem, tak je můžu ještě otestovat.

Cisco

Co se tak dívám, tak možnosti:

Nexus 5500 s VPC
Catalysty ve stacku

Konkrétní modely jsem ale podrobněji nezkoumal.