Hardware pro GW (10 Gbit)

oliver_es

Ahoj,

chystáme se k nákupu x86 stroje na kterém poběží RouterOS a rád bych uvítal Vaše rady a podněty.

Role:

NAT 1 a 1

Shaping (simple queue)

Firewall

Síť je čistá hvězda (FTTx), každý zákazník na samostatné VLAN. (Queue tree tedy nemá smysl). Pro DHCP server je použito CCR.

Poskytované služby: 100 Mbit, 300 Mbit, 1000 Mbit, IPTV.

Datový tok: aktuálně do 2 Gbit/s, výhled až 8 Gbit/s.

Uvažujeme nad síťovkou SUPERMICRO AOC-STGN-I2S. Má to někdo vyzkoušené pod RouterOS ? Umí to rozložení zátěže (více IRQ) ?

Server HP, ale zatím nevím zda vzít 8core s menší frekvencí, nebo naopak 4core s vyšší frekvencí. Předpokládám, že 2 procesorový systém nemá smysl.

Děkuji za rady a podněty.

hapi

no a máš tam něco ted? podle mě ti 4 fast nebo 8 slow cpu nebude stačit. No ještě záleží na tom kolik těch shapovacích pravidel tam máš.

S tou sítovkou nevim jestli ti pojede, asi by měla je to 82599 a rozkládat IRQ by měla taky. Pak bych doporučil raději víc jader.

Máš trochu dilema, výkon jednoho jádra ti omezí výkon/rychlost na jednu queue a zároveň málo jader omezí počet queue :-) takže kolik jich tam máš? :-)

oliver_es

Teď tam je zatím CCRko (to se posune pak jen do role DHCP a DNS). Z toho plyne, že zatím tam žádná queue není, všichni jednou až gigabit. Omezení je provedeno wifi routerem u zákazníka doma, mají jen 100 Mbit porty. Potřebuju omezit zejména zákazníky, kteří mají 300 mbit. A samozřejmě některé 100 mbit co to nemají do wifi routeru, ale přímo do počítače, nebo mají lepší wifi router s gigovými porty. Aktuálně se bavíme v celku o 250 zákaznících s výhledem do roka na 1000 ks. Absolutní maximum na tento POP, tedy router je 2000 zákazníků. Umím si ale představit i nasazení dvou nebo i více routerů a rozložení těch zákazníků mezi ně (např po 500 ks).

p79wifi

AOC-STGN-I2S - jede v pohodě - mám s CPU 5820K na X99 - rozloženo na 12 vláken.

navíc pokud to dáš do pořádné skříně dá se jet na pohodu 4Ghz fr uplně s prehledem a to se myslím nedá moc urvat..já jedu na 3.4 vše vypnuté ( tím myslím všechny kraviny v biosu ) v 2U s kříni protože

není místo v racku jinak bych to dal do 4U a chladil jinak.

oliver_es

Díky. Já bych spíš chtěl jít do HP serveru (1U), pravděpodobně ProLian DL360G9 a to buď ve verzi:

1) 2.4G/6C/15M

2) 2.4G/8C/20M

Logicky to tedy bude mít 12 nebo 16 vláken. Nebo mám jít do nižšího počtu jader a vyšší frekvenci ?

p79wifi

8 vláken lepší, ale osobně bych nekupoval HP, vždy bych to postavil..

není problém zařídit :)

stepan_benes

a) není jednodušší (a hlavně levnější) než se honit za špičkový výkonem, ten výkon distribuovat ?

b) předpokládám a z výše uvedeného vyplývá že používáte 3 tarifní služby - proč nenahradit v tomto případě neefektivní simple queue pomocí PCQ. Pak stačí na shaping 6 pravidel.

oliver_es

Díky

a) ano, sice to bude pořád v rámci 1 POPu, ale jak jsem psal, můžu rozdělit zákazníky mezi více routerů, na kterých se bude shapovat a pak je třeba spojit před konektivitou CCRkem

b) moc toho o PCQ nevím, nicméně zřejmě se 1 pravidlu na 1 zákazníka nevyhnu. Musel bych zákazníky se 100 mbitem dát do jedné skupiny, 300 mbitem do druhé. Jenže jak ? Každý zákazník je terminovaný doma na optickém převodníku a na straně POPu je pro každý SFP port samostatná VLANa (předkonfigurovaná kvůli blbuvzdornosti zaměstnanců) a na IP vrstvě je samostatný C subnet (10.x.x.0/24) obsluhovaný DHCP. Jednou jsem to na routeru nastavil pro prvních 1000 zákazníků a nemusím se o IP adresy starat. Jen přidávám switche, při montáži do racku nastavím VLANy na porty a je to. Dopředu samozřejmě nevím na jakém portu jaký zákazník bude a neustále měnit konfiguraci kvůli nějakému rozdělení do skupin se mi nechce. Fyzickou vrstvu nelze udělat tak že budu mít switch na 100 mbit zákazníky a jiný na 300 mbit kvůli oddělení ODFu od racků se switchi a předpřipravenými patchcordy. Ten POP je postaven tak aby byl připraven na open access.

A nebo, jak jsem řekl, moc toho o PCQ nevím, takže je možné, že mi něco uniká.

frito

V Queue si nastavíš jedno pravidlo třeba na 300 Mbit

Pak si nastavíš Que type jako je na obrázku 100Mbit

a pak si uděláš adress list pro jednotlivé tarify tam nahážeš rozsahy lidí

A pak jeden mangle který bude manglovat podle adress listu.

Každý bude mít 100Mbit ale budou sdílet max limit 300Mbit.

Hotovo.

Kolik ti to CCR zvládne VLAN /DHCP ?

oliver_es

Díky, vyzkouším to.

Máme ten nejvyšší model 1036, pak už je jen 1072. Je tam zatím 1000 VLAN a 1000 DHCP serverů. Vytížení CPU v jednotkách % po 99% času.

stepan_benes

Bylo to celkem fajn prezentovaný na nějakým MUMu ... moment ...

http://mum.mikrotik.com/presentations/US08/janism.pdf

ferkop1

Zdravim skladam x86 masnu na 10Gbit hlavny router, chcem sa len spytat ci je to v pohode ked dual 10Gbit kartu Intel x520 detekuje ako ethernet a nie je tam zalozka SFP. V resourcech a PCI ju identifikuje ako 82599EB 10-Gigabit Network Connection (rev: 1), potom tam mam 1x 4port Gbit lan supermicro 82571EB Gigabit Ethernet Controller (rev: 6) ta funguje v pohode aj 4x Gbit na doske.

whiteagle

Ahoj,

je tady nekdo, kdo to pcq opravdu pouziva?

Tedka mam treba super prehled o aktualnim down/up u klienta skrze prehled v simple queues, jak se to pak resi u toho pcq? tam kazdeho klienta zlast nikde nevidim,

Jak treba u konkretniho klienta vytvorim podtridu, kde mu shapuju iptv?

Hadam, ze tohle je mimo pcq - ale ta idea by mi asi vyresila problem s upgradem ccrka na x86, tak si to rad necham potrvdit:))

bach

Ahoj,

je tady nekdo, kdo to pcq opravdu pouziva?

Tedka mam treba super prehled o aktualnim down/up u klienta skrze prehled v simple queues, jak se to pak resi u toho pcq? tam kazdeho klienta zlast nikde nevidim,

Jak treba u konkretniho klienta vytvorim podtridu, kde mu shapuju iptv?

Hadam, ze tohle je mimo pcq - ale ta idea by mi asi vyresila problem s upgradem ccrka na x86, tak si to rad necham potrvdit:))

U PCQ s manglem dle address-listu rozděleného per rychlostní tarify nejdou vidět data jednotlivých zákazníků.

shape jine sluzby: manglovací pravidlo dle dst. bud obecne pro vsechny a nebo per customer -> vicero pravidel -> mnoho násobně vyšší zátěž

pravidlo musí být před manglem rychlosti internetu.

oliver_es

Marně sháním 10G SPF+ síťovou kartu, která bude umět rozdělení na jednotlivá jádra CPU. Chtěl jsem vzít originál Intel x520, ta má ale omezení pouze na SFP moduly Intel, což je pro mě pasé. Koukal jsem také po Supermicro, ale nevím, je ještě nějaká jiná možnost ?

Díky

petrbacina

Skutečně je ten Intel omezený jenom na Intel SFP? Myslíš, že by nevzala jiné moduly? Supermicro STGN-i2S by měla také umět více vláken. Se supermicro zatím jen pozitivní zkušenosti.

ludvik

Nejsou omezené na SFP moduly intel. Jsou omezené na seznam schválený intelem ... což je trošku rozdíl. Třeba Avago jsou poměrně běžné a laciné.

Ale především - je to věc ovladače té síťovky. Nevím kde to chceš použít, ale jde buď zkompilovat, nebo od jisté verze to má dokonce ve výchozím stavu povolené (jako parametr toho modulu).

oliver_es

Už jsem objednal v Abacusu Supermicro STGN-i2S. Ten Intel se mi líbil víc, ale nechtěl jsem riskovat nutnost výměny 10G SFP+ WDM modulů. Server asi vezmu HP PL DL20G9 s 3,4 Ghz 4core Xeon procesorem (E3-1230v5) a výkon v případě potřeby do budoucna budu řešit dalším routerem jak radil Štěpán Beneš. Je to nejrozuměnší a cenově přijatelné řešení, než nasazovat výkonný stroj, který by byl single point of failure v síti. Zatím si budu hrát s VRRP.

whef

Si nech postavit server na supermicru, ať to nemáš jen kartu. Podle mne, lepší volba, než HP.

Už jsem objednal v Abacusu Supermicro STGN-i2S. Ten Intel se mi líbil víc, ale nechtěl jsem riskovat nutnost výměny 10G SFP+ WDM modulů. Server asi vezmu HP PL DL20G9 s 3,4 Ghz 4core Xeon procesorem (E3-1230v5) a výkon v případě potřeby do budoucna budu řešit dalším routerem jak radil Štěpán Beneš. Je to nejrozuměnší a cenově přijatelné řešení, než nasazovat výkonný stroj, který by byl single point of failure v síti. Zatím si budu hrát s VRRP.

oliver_es

Tak jsem si nechal udělat nabídku od Abacusu na Supermicro s procesorem Intel Xeon E3-1230v5 -3.4GHz, 8MB cache,4core. Výsledek je o 11 tisíc víc než ta sama konfigurace od HP. Stojí to za to ?

Další stránka »