• Hardware

  • Redudantní L3 TOR switche do malých instalací

Máme zákazníky, kteří chtějí mít své oddělené racky a hledáme pro ně redudantní páry L3 TOR switchů.

Běžné scénáře:

  • 1/3 racku, 2 switche, 6 serverů
  • 1/2 racku, 2 switche, 15 serverů
  • Ve všech příkladech 2x 10GE LACP uplink do našich 2 Arist v MLAGu

Do plných racků dáváme Aristy, ale dávat do racku o 6 serverech switche za 0,5M prostě nejde. Servery zapojujeme redundantně (na straně serverů LACP) do dvou switchů.

Parametry:

  • Reduntantní active-active FHRP (u Arist VARP)
  • L3 inter-vlan routing (dělají serverům gateway)
  • Redundantní zapojení serverů do obou switchů (u Arista MLAG)
  • 12-24 portů 10GE SFP+
  • Plná podpora IPv6 (jedeme IPv6 only, takže je možné, že ty switche IPv4 ani neuvidí)
  • Provoz by měl jít přes ASIC
  • Je mi celkem jedno, jestli to bude stack nebo 2 oddělené switche - pokud to bude fungovat (a ano, rád chodím do serveroven, náhodně vytahuji kabely a zkouším, jestli to bude fungovat).
  • Rozumnou spotřebu (když máme na 1/3 racku limit 1,5kW, tak je nesmysl, aby z toho 400W sežraly 2 switche)

Nějaké nápady?

fs.com

Parametricky nám do těchto scénářů naprosto sedí fs switche: https://www.fs.com/products/122280.html Cena a spotřeba super.

Akorát software je hromádka neštěstí. Co aktuálně víme, že nepodporují:

  • IPv6 VARP
  • IPv6 only snmp-server (dávat na managementy IPv4 vidím jako krok do minulosti)
  • Nemáme ještě pořádně otestované vrf pro management, abychom oddělili management provoz (ssh/snmp) od běžného provozu
  • Nic moc dokumentace

Ale zvážil bych je jako redundantí L2 switche, když před ně posadíme něco, co udělá L3.

Mikrotik

Mají sice pěkné kousky, ale podpora hardware offloadu u MLAGu zdá se je stále v plenkách. Bojím se, že při blbé konfiguraci půjde provoz přes CPU a bude nám to rozbíjet cephy, které na tom většinou běží.

  • pgb replied to this.

    Cisco Nexus technologie
    Koupíte dvojici hlavních, a pak už dokupujete do racků FEXy relativně za pár. Můžete kombinovat různě interfaces, vše v jednom managamentu.
    V případě, že budete chtít udělat upgrade prostě vytrhnete jeden, nahradíte jiným, a jede se dál bez vetšího confení.

      justme Dobrý point. FEXy používat nechceme, když zákazník přejde jinam nebo ho přesuneme do jiné lokality, kde nebudeme mít nadřazené switche, tak mu zůstanou krabice bez duše. Navíc bychom museli agregační switche předělat na cisca a byli bychom ciscem svázani. Při testování jsme meli problém s PXE bootem při VPC, ale to byla velmi pravděpodobně konfigurační chyba. Mám ale 2 kusy skladem, tak je můžu ještě otestovat.

      Cisco

      Co se tak dívám, tak možnosti:

      • Nexus 5500 s VPC
      • Catalysty ve stacku

      Konkrétní modely jsem ale podrobněji nezkoumal.

        skrivy s panem Klímou jsem se dostal k pokusu sestavit mlag na Mk switchi 3xx a hnali jsme přes to data z generátoru a narazili jsme na periodickou ztrátovost v i intervalu cca 10s, kterou se za boha nepodařilo vyřešit. Jako by se neustále něco přepočítávalo - ale data tekla pořád stejnou trasou. Switche ukazovaly všude hw offload, nicméně CPU bylo na 100%.

          📡 Telekomunikace.cz