DPDK, eBPF, XDP, FD.IO, VPP, Cilium - skúsenosti

ekrajnak · 2020-11-30T18:54:47+00:00

Ahojte, veľa tém sa tu točí okolo Linux routrov / shaperov / NATov. Skúšal sa ale niekto hrať s alternatívami pre Linux Kernel IP stack? DPDK, eBPF, XDP, FD...

pgb

Přidány základní příklady konfigurace se zákresy topologie, dokumentace struktur a nějaké drobnosti. Opraveno/ošetřeno několik chybiček v aplikaci. Syntetické testy hotové, takže hurá na ostrý provoz, jen musím sehnat stepdown 24V=>12V abych to mohl hodit na sajt 🙂

TODO: Teď musím vymyslet nějaké vhodné exportní rozhraní pro tahání dat z toho. Něco jako mk api, abych to dokázal napojit na centrální shapper. Nejsnazší cestou bude asi v prometheusu udělat exporty potřebných dat. Uvidíme ....

pgb

Tak je to venku, rané stádium. Bylo nutné hodně předělat ABF/PBR ale už snad ....
https://github.com/petrbol/RouterConfigurationTool

pgb

První drobné opravy a dodělávky, už mi na tom běží ostrá data pro testovací zákazníky a zatím dobrý.
rct_0.2-1_amd64 changelog

VPP verze 22.06 se pomaličku blíží do stable 🙂 ... formal release => 2022-06-29
https://wiki.fd.io/view/Projects/vpp/Release_Plans/Release_Plan_22.06

pgb

vpp 22.06rc1 je venku, modifikován návod na githubu na použití nového apt repozitáře vpp 22.06 na packagecloud.io + aktuálně pracuji na implementaci rozhraní pro nat44 a statických rout (nat44 rozbije ospf na wan straně - teda on toho rozbije více, ale bgp se dá přemluvit aby fungovalo)

pgb

cli a commit pro statické statické routy už funguje.
cli pro základní snat hotové, api zprávy odladěné a dělají co mají, ještě trochu práce kolem commitu a základní snat bude hotový.

Koho to zajímá tak se s ním rád uvidím v Uherském Hradišti 🙂 ..... release funkcí výše tak snad za týden. Dál to vidím na dodělání cli pro dhcpv4.

pgb

rct_0.2-2_amd64 changelog

dhcp4 klient
nat44 simple source nat
netlink statické routy
edit: systemd integrace dhcp4/6 kea

VPP je aktuálně ve verzi 22.06rc2, formal relase plánován na 2022-06-29

daviss

UBNT AF 60HD pro packet forwarding využívá VPP.

pgb

Byl by k tomu nějaký odkaz? Nějaká forma akcelerace na takovýchto rychlých strojích je v porovnání s obyč linuxovám stackem nutná.

Musím MK nechat že jejich fastpatch(ipv4) a bridge fastpath fungují dobře. Co už tak efektivně nepracuje je fasttrack, protože pouze navázané tcp ..... Škoda že nemají fastpath pro ipv6 a nezdá se že by to v MK plánovali.

daviss

pgb

No, hrajeme si na stole s AF-60HD (a víceméně je to dohledatelné i zde)

plánujeme to ubnt změřit, kolik reálně přenese 64b (jestli line-rate toho spoje)

pgb

22.06 final je venku https://packagecloud.io/fdio/release
ahoj v Hradišti

vecino

@pgb Prosím tě koukám na https://github.com/petrbol/RouterConfigurationTool a zaujal mě ten alternativní kernel pro APU. Ten sis sám kompiloval? Co obsahuje za vylepšení? Díky

install alternative kernel for PC Engines APU board only
wget https://github.com/petrbol/RouterConfigurationTool/raw/main/kernel/5.15.41/linux-headers-5.15.41_5.15.41-1_amd64.deb # download kernel headers
wget https://github.com/petrbol/RouterConfigurationTool/raw/main/kernel/5.15.41/linux-image-5.15.41_5.15.41-1_amd64.deb # download kernel image

pgb

vecino na apu se v debianu se mi špatně choval nohz_full, nešel aktivovat. Config z ubuntu to nedělal. Ve složkách je odkaz na config, můžeš si to porovnat, ale těch změn je tam hodně. Víc něž pár hodin jsem se snažil přinutit debianí jádro nastavit na apu nohz, ale nedařilo se. Na supermicru jsem problém neměl. Chovalo se to na apu tak blbě, že se objevoval následně velký jitter každých pár sekund.

edit: jo kompiloval podle ubuntu konfigu
https://github.com/petrbol/RouterConfigurationTool/blob/main/kernel/5.15.41/config-5.15.41

pgb

vecino tady máš obrázek v rozlišení 6h ... můžeš hádat který je s kterým configem 🙂
(https://imgur.com/7Pz2lvw)
legenda: každých 15s se pošle 10 pingů s intervalem 1s, z těch se vyčte min,max,arg,loss a vynese se do grafu

vecino

Ten vrchní je s tím configem z Ubuntu. Je to celkem dost rozdíl. Je vidět, že to s tím projektem myslíš vážně. Dobrá práce. 👍

pgb

Tak další funkce na řadě je snmp. Sice mám prometheus exporter rád, ale poptávka je primárně po snmp .... takže šup a už to začíná po snmp vracet nějaké hodnoty 🙂

pgb

Tak otestováno na Topton N5105 Mini PC Quad Core, 4xIntel i225 2.5G LAN a funguje 1G wirespeed 64B a cpu není na maximu. Router naběhne do funkčního stavu za 20s z úplného vypnutí. Jediné co bylo potřeba proti apu udělat bylo vypnout intel_iommu grubem. Jitter to má taky lepší než apu, uvidíme v provozu jak se to bude tvářit.

pgb

Konečně jsem se dostal k tomu koupit sfp+> 10/5/2.5G ethernet a otestovat routing pps na Topton N5105. Limit 1G ethernetu je asi 730Mbps/1.3Mpps@64b, pro 2,5G ethernet to zvládá 1300Mbps/2.6Mpps@64b v každém směru, cekem tedy max 5.2Mpps duplexně 🙂 ... za ty prachy parádní.

PS: pro srovnání

Intel D-1518 + intel x552 .... 4,5Gbps/8.8Mpps(duplexně 17.6Mpps)
Intel D-1518 + intel 82599ES .... 3.3Gbps/6.5Mpps(duplexně 13Mpps)

pgb

Nová verce rct_0.2-3_amd64.deb
https://github.com/petrbol/RouterConfigurationTool

hlavní novinky:

nově integrovaný dhcp4/6 server ISC Kea, funkční dhcpv4/6+PD
route helper pro pro IPv6 PD napojený na Kea
IPv6 RA vč. volitelného prefixu
přidán snmpd server pro statistiky
konfigurovatelná správa paměti VPP

plný changelog: https://github.com/petrbol/RouterConfigurationTool/blob/main/rctDeb/changelog.md

pgb

Tak jsem prokopl wireguard na VPP. Funguje včetně přístupu do controlplane, jen tam v tuhle chvíli zlobí arp/neighbor discovery. Musím vyzkoumat co a proč je špatně. Dá se to ohnout tím, že se nasměruje /32 záznam protistrany přímo do wireguard rozhraní. Prošel jsem commity a nic jsem nenašel, zkusím poslední verze, těch oprav se ve VPP projektu objevuje pořád mrak, nicméně pár lidí se před rokem podivovalo že se to chová zvláštně. Dořešit a udělat cli ... 🙂
Implementovat Geneve, ať je sranda.

pgb

Nová verze rct_0.2-4_amd64.deb
https://github.com/petrbol/RouterConfigurationTool

Changelog

přidána konfigurace wireguard VPN
předělána konfigurace statických rout, přidána možnost přímého směrování do rozhraní
změna defaultních hodnout u rctKea6RouteHelper a ipv6 RA
vylepšena konfigurace ipv6 RA, přidána možnost konfigurace lifetime, max, min, managed, other

https://github.com/petrbol/RouterConfigurationTool/blob/main/rctDeb/changelog.md

Ukázka konfigurace wireguard VPN:

rconfig wireguard interface add wg0
rconfig wireguard interface set wg0 AdminUp true ListenPort 12345 PrivateKey xxxxx PublicKey xxxxx SrcAddress 2.2.2.2
rconfig address add 192.168.34.2/24 interface wg0
rconfig wireguard peer add newPeer1 wgInterface wg0
rconfig wireguard peer set newPeer1 AllowedIp 0.0.0.0/0,::/0 DstAddress 1.2.3.4 PersistentKeepalive 25 DstPort 12345 PublicKey xxxx
rconfig route add 21
rconfig route set 21 Enable true Destination 10.0.0.0/8 Gateway 192.168.34.1

« Předchozí stránka Další stránka »