DPDK, eBPF, XDP, FD.IO, VPP, Cilium - skúsenosti

ekrajnak · 2020-11-30T18:54:47+00:00

Ahojte, veľa tém sa tu točí okolo Linux routrov / shaperov / NATov. Skúšal sa ale niekto hrať s alternatívami pre Linux Kernel IP stack? DPDK, eBPF, XDP, FD...

pgb

Vkládal jsem to přes tu klikacích ikonku a ta přidá dvoje apostrofy a dopadlo to špatně. Měl by jich vložit šest tedy.

okoun

pgb to víš, život je složitý 🙁

zdeneksvarc

pgb Jednoduché apostorfy se přidávají, pokud označím text inline, tzn. ten kód bysme měli jako jeden dlouhý nezalomený řádek. Pokud je text v bloku na několik řádků, automaticky se přidávají trojité apostrofy. Museli bysme mrknout, jaký znak (kombinaci znaků) měl tvůj blokový text, že ho formátování nerozpoznalo, např. CR+CR+LF, místo CR/LF.

pgb

tak z proof of concept to pomalu začíná nabírat funkčnost, složitost i použitelnost .... některé základní věci už fungují slušně ... po odladění apu4d4 jsem z toho dostal přes 3.2Gbps při 128B

asi hodím rb4011 do koše 🙂

ekrajnak

Novinky z Linux kernel 5.13:
"Najprv sme šli z kernel stacku k BPF a teraz sa (čiastočne) vraciame od BPF ku kernel stacku."

https://twitter.com/toke_dk/status/1376480986758840324?s=19

pgb

VPP sice dosahuje úžasných výsledků, ale hází mi s tím routingem dost klacky pod nohy 🙁 . Na vývoji ovladače igb došlo k zajímavé inovaci a ovladač v kernelu 5.11.11 podporuje nyní XDP. Výkon na APU4 není zdaleka tak dobrý jako ve VPP ale i tak zvládne 800Mbps při @128B při plné dostupnosti síťového stacku a všech služeb na něj navázaných.

pgb

Malé novinky, 30.6.2021 je naplánované vydání nové verze VPP s podporou redirectu veškerého podstatného provozu do control-planu. Takže by nic nemělo stát v cestě integraci OSPF.

Aktuálně funguje:

plnohodnotné bgp na birdu
synchronizace control-plane/data-plane pro routy a hosty
ip adresy v4/v6
statické routy v4/v6
bridge + split horizon + bvi interface
vlan
vxlan staticky (na apu4d4 propustnost při encapsulaci cca 1.2Gbps@128B)
route rules v4/v6
loopbacky
nat 1:1
nat 1:n

Co bych rád dodělat a zatím mi nefunguje:

vxlan na základě multicastu a integraci s bgp evpn

Co nefunguje a těžko říct jestli někdy bude:

mpls/vpls ... vyžaduje LDP a nemohl bych použít bird a nevím jestli tam chci tahat dalšího daemona

eqx311

a co https://www.danosproject.org/ ?

pgb

eqx311 Díky za tip ..... časem vyzkouším, ale ta dokumentace u nich na webu je dost nejasná/mizerná a netuším jaký dataplane to používá. Jediné co jsem se vlastně dočetl je že používají v coru rozhraní vyatty pro konfiguraci a frr pro routing. Je tam nějaká zmínka o DPDK, ale jak moc ho mají využitý tam není.

pgb

tak proběhl test Danos projektu ... bohužel už poslední dobou dělám jen testy encapsulace ....
na apu4D4 encapsulace do vxlan:
Danos LAN=>VXLAN @128B 350Mbps duplex / jeden směr max 350Mbps
Rb4011 LAN=>VPLS @128B 265Mbps duplex / jeden směr max 530Mbps
Vpp LAN=>VXLAN @128B 630Mbps duplex / jeden směr max 630Mbps

poznatky k Danos:

cli postavené na vyatta, dá se v tom rozumně lehce vyznat, je to fakt hezký
start OS je velmi velmi pomalý (víc než minuta, možná skoro dvě)
commit nastavení je neuvěřitelně pomalý
vevnitř netuším co běží, na webu to není nikde moc jasně napsáno
relativně nově zveřejněný open source projekt, nulová dokumentace (a to jsem si původně myslel že Vpp má špatnou)
hezký instalátor, přehledný, jednoduchý
nastavování mtu na vxlan nefungovalo, něšlo mi protáhnout plné mtu skrz

pgb

vpp v nejnovější verzi podporuje redirect ospf do hosta .... cesta je otevřená 🙂

pgb

Tak jsem začal pracovat na cli pro vpp router ... je to hodně rané stádium, ale ve výsledku to bude vypadat nějak takhle. Konfigurace bude v jednom jsonu, ale editace přes cli s okamžitou možností comitu dle příkazů, nikoliv pouze reload celého vpp/routeru.

https://youtu.be/WBoHDQUhjb0

pgb

Malinká aktualizace v cli, aktuálně cli umí ethernet, vlany, bridge, vxlan, statické routy a přidat bgp peery. Přidal jsem barvičky 🙂 ... video je nezáživné, jen ukazuje jak to cli funguje, konfigurace je v jednom jsonu. Funkce pomalu rostou, třeba to někoho zaujme.

https://youtu.be/OxGZ6e0uZDU

ekrajnak

pgb Dovolím si tvrdiť že celá táto tvoja práca a veci okolo DPDK, VPP, ... zostanú väčšine tohto fóra ešte pár rokov nepochopená... ale oni to pochopia, potom 🙂

rseb

pgb delas to jako oss nebo to je neverejne?

pgb

Tak jsem zkusil vytáhnout maximální forward z čerstvě koupeného SM x10SDV-TP8F (děkuji prodejci @internet ) co zvládne integrované CPU Xeon® processor D-1518 (4x2,2GHz) ... takže výsledky:

všechny výsledky jsou pro packety 128B

linux stack: max duplexní 600Mbps
vpp stack (externí síťovka 2x sfp+): max duplexní 4,6Gbps
vpp stack (interní síťovka 2x sfp+): max duplexní 8Gbps

pgb

V nové verzi VPP (21.06) je slušně udělaný plugin pro komunikaci mezi dataplane a controlplane, do další verzi 21.10 se snad podaří protlačit i aktualizaci tohodle pluginu pro synchronizaci fib Linuxu a VPP. Takže sice budu moct zahodit svoji verzi synchronizace (ale to stejně tak v projektu Danos i Netgate) a budu se moci soustředit jen na konfigurační rozhraní 🙂 ...

pgb

rseb Vzhledem k tomu že z toho nakonec bude asi jen konfigurační rozhraní pro VPP tak to bude asi volně dostupné (pod různými volně oss licencemi je VPP i Bird na kterých si to může kdokoliv poskládat). Poskládaný předpřipravený celek asi volně nevypustím.

pgb

volejte sláva a tři dny se radujte ... 🙂

Díky dobré práci lidí z projektu VPP a přispěvatelů do pluginu linux-cp lze dnes plnohodnotně zprovoznit synchronizaci mezi dataplane a linux fib. Pro instalci je potřeba si to přeložit podle

https://fdio-vpp.readthedocs.io/en/latest/gettingstarted/developers/building.html

patch https://gerrit.fd.io/r/c/vpp/+/31122

... teď už dělám jen na pohodlnějším konfiguračním rozhraní, ale základ už si každý může nahodit

pgb

Tak základ mi funguje, aplikace se skládá z komponent:

utility pro generování a konfigurace routeru (centrální konfigurace ala jakýkoliv komerční router - cli show, set, add, del)
aktuálně jsem na začátku stavu kdy už to něco dělá (podpora vlan, bridge, ethernet, vxlan, ipv4, ipv6)
wraper pro birda právě tvořím, ale při manuální konfiguraci bird.conf už to funguje
commit trvá asi 4s

Pokud by to někoho zajímalo, chtěl to odzkoušet nebo chtěl pomoct s vývojem tak je to psané v go. Hodil by se mi člověk co umí dělat debianí balíčky, případně někdo na psaní testů.

« Předchozí stránka Další stránka »