DPDK, eBPF, XDP, FD.IO, VPP, Cilium - skúsenosti

ekrajnak · 2020-11-30T18:54:47+00:00

Ahojte, veľa tém sa tu točí okolo Linux routrov / shaperov / NATov. Skúšal sa ale niekto hrať s alternatívami pre Linux Kernel IP stack? DPDK, eBPF, XDP, FD...

pgb

22.06 final je venku https://packagecloud.io/fdio/release
ahoj v Hradišti

vecino

@pgb Prosím tě koukám na https://github.com/petrbol/RouterConfigurationTool a zaujal mě ten alternativní kernel pro APU. Ten sis sám kompiloval? Co obsahuje za vylepšení? Díky

install alternative kernel for PC Engines APU board only
wget https://github.com/petrbol/RouterConfigurationTool/raw/main/kernel/5.15.41/linux-headers-5.15.41_5.15.41-1_amd64.deb # download kernel headers
wget https://github.com/petrbol/RouterConfigurationTool/raw/main/kernel/5.15.41/linux-image-5.15.41_5.15.41-1_amd64.deb # download kernel image

pgb

vecino na apu se v debianu se mi špatně choval nohz_full, nešel aktivovat. Config z ubuntu to nedělal. Ve složkách je odkaz na config, můžeš si to porovnat, ale těch změn je tam hodně. Víc něž pár hodin jsem se snažil přinutit debianí jádro nastavit na apu nohz, ale nedařilo se. Na supermicru jsem problém neměl. Chovalo se to na apu tak blbě, že se objevoval následně velký jitter každých pár sekund.

edit: jo kompiloval podle ubuntu konfigu
https://github.com/petrbol/RouterConfigurationTool/blob/main/kernel/5.15.41/config-5.15.41

pgb

vecino tady máš obrázek v rozlišení 6h ... můžeš hádat který je s kterým configem 🙂
(https://imgur.com/7Pz2lvw)
legenda: každých 15s se pošle 10 pingů s intervalem 1s, z těch se vyčte min,max,arg,loss a vynese se do grafu

vecino

Ten vrchní je s tím configem z Ubuntu. Je to celkem dost rozdíl. Je vidět, že to s tím projektem myslíš vážně. Dobrá práce. 👍

pgb

Tak další funkce na řadě je snmp. Sice mám prometheus exporter rád, ale poptávka je primárně po snmp .... takže šup a už to začíná po snmp vracet nějaké hodnoty 🙂

pgb

Tak otestováno na Topton N5105 Mini PC Quad Core, 4xIntel i225 2.5G LAN a funguje 1G wirespeed 64B a cpu není na maximu. Router naběhne do funkčního stavu za 20s z úplného vypnutí. Jediné co bylo potřeba proti apu udělat bylo vypnout intel_iommu grubem. Jitter to má taky lepší než apu, uvidíme v provozu jak se to bude tvářit.

pgb

Konečně jsem se dostal k tomu koupit sfp+> 10/5/2.5G ethernet a otestovat routing pps na Topton N5105. Limit 1G ethernetu je asi 730Mbps/1.3Mpps@64b, pro 2,5G ethernet to zvládá 1300Mbps/2.6Mpps@64b v každém směru, cekem tedy max 5.2Mpps duplexně 🙂 ... za ty prachy parádní.

PS: pro srovnání

Intel D-1518 + intel x552 .... 4,5Gbps/8.8Mpps(duplexně 17.6Mpps)
Intel D-1518 + intel 82599ES .... 3.3Gbps/6.5Mpps(duplexně 13Mpps)

pgb

Nová verce rct_0.2-3_amd64.deb
https://github.com/petrbol/RouterConfigurationTool

hlavní novinky:

nově integrovaný dhcp4/6 server ISC Kea, funkční dhcpv4/6+PD
route helper pro pro IPv6 PD napojený na Kea
IPv6 RA vč. volitelného prefixu
přidán snmpd server pro statistiky
konfigurovatelná správa paměti VPP

plný changelog: https://github.com/petrbol/RouterConfigurationTool/blob/main/rctDeb/changelog.md

pgb

Tak jsem prokopl wireguard na VPP. Funguje včetně přístupu do controlplane, jen tam v tuhle chvíli zlobí arp/neighbor discovery. Musím vyzkoumat co a proč je špatně. Dá se to ohnout tím, že se nasměruje /32 záznam protistrany přímo do wireguard rozhraní. Prošel jsem commity a nic jsem nenašel, zkusím poslední verze, těch oprav se ve VPP projektu objevuje pořád mrak, nicméně pár lidí se před rokem podivovalo že se to chová zvláštně. Dořešit a udělat cli ... 🙂
Implementovat Geneve, ať je sranda.

pgb

Nová verze rct_0.2-4_amd64.deb
https://github.com/petrbol/RouterConfigurationTool

Changelog

přidána konfigurace wireguard VPN
předělána konfigurace statických rout, přidána možnost přímého směrování do rozhraní
změna defaultních hodnout u rctKea6RouteHelper a ipv6 RA
vylepšena konfigurace ipv6 RA, přidána možnost konfigurace lifetime, max, min, managed, other

https://github.com/petrbol/RouterConfigurationTool/blob/main/rctDeb/changelog.md

Ukázka konfigurace wireguard VPN:

rconfig wireguard interface add wg0
rconfig wireguard interface set wg0 AdminUp true ListenPort 12345 PrivateKey xxxxx PublicKey xxxxx SrcAddress 2.2.2.2
rconfig address add 192.168.34.2/24 interface wg0
rconfig wireguard peer add newPeer1 wgInterface wg0
rconfig wireguard peer set newPeer1 AllowedIp 0.0.0.0/0,::/0 DstAddress 1.2.3.4 PersistentKeepalive 25 DstPort 12345 PublicKey xxxx
rconfig route add 21
rconfig route set 21 Enable true Destination 10.0.0.0/8 Gateway 192.168.34.1

pgb

Nová verze rct_0.2-5_amd64.deb
https://github.com/petrbol/RouterConfigurationTool/blob/main/rctDeb/changelog.md

překopána hlavně struktura konfigu, nyní je mnohem čitelnější výstup z rconfig show
přidáno nastavování MTU rconfig ethernet set Mtu|MtuIPv4|MtuIPv6 1500
kompletně přepsaná konfigurace abf/acl

Ukázka zkrácení show výstupu

{
  "IfName": "enp2s0",
  "Cfg": {
   "Comment": "",
   "AdminUp": true,
   "MtuCfg": {
    "Packet": 1500,
    "IPv4": 0,
    "Ipv6": 0
   },
   "Address": [
    "192.168.14.2/24"
   ],
   "RouterAdv": null,
   "Policy": null,
   "Nat44Snat": [
    {
     "OutputFeature": true,
     "Address": "192.168.14.2",
     "StaticMap": false
    }
   ],
   "DpdkPciDeviceId": "0000:02:00.0",
   "DpdkRxQueues": 1,
   "DpdkTxQueues": 1
  },
  "Vlan": null
 }

jihi

Ahoj,

možná mám naivní představu, ale je VPP/FD.IO použitelné jáko CGNAT? Dle dokumentace na to funkce asi má. Spíš jestli víte o někom kdo to nasadil na nějaké > 10gbit řešení?
Hledám aktuálně nějaké DPDK řešení NATu. Komerčně je to sehnatelné, funguje to na stejných principech jako VPP, ale raděj bych šel nějakou opensource cestou než uzavřený kus kódu.
Pokud by někdo byl ochotný promluvit o své zkušenosti s DPDK NATem ať již postaveným na tomto projektu tak i třeba na nějakém komerčním řešením budu rád za jakoukoliv radu.

skrivy

jihi Jen takové drobné rejpnutí. IPv6 jsi už implementoval, abys odlehčil NATu?

pgb

jihi je, má například deterministický nat na celý subnet, má to hromadu dalších možností natu ... Pluginy natu prochází teď kolem verze 22.06 ohromnými změnami a dokumentace pořádně neexistuje.

Na cli zapomeň, reálně je jen pro debug. Musíš jet přes API aby jsi měl plnou funkcionalitu. Buďto si to naprogramuješ sám, nebo použiješ něco komerčního. Dokumentace je taková jaká je, tj mizerná.

Mám nicméně takové neblahé tušení, že nás tu mnoho není kde to používá. Podle toho kdo tu píše ve vláknu mám obavu že jsem sám. Na konfigurovatelnější cgnat se chystám, ale tak snad možná do léta. Rád bych to stihnul do Hradiště.

PS: jediné dvě free implementace jsou moje a ta od Pim van Pelta. Ta jeho má navíc problém v tom že sice řeší nějakou konfiguraci, ale stále jede na cli a semtam řeší blbosti typu "cli neexistuje" nebo to, že změna konfigurace u něj je na 30s.

pgb

jihi vzhledem k tomu že nereaguješ, tak se asi moc bavit nechceš 🙁

Jen pro tvoji představu, VPP najdeš zadrátované uvnitř boxů velkých výrobců ... původem je to technologie pochází od cisco, následně otevřená ... když se budeš snažit tak najdeš informace, že je zadrátovaná v některých produktech od Hua, Juniperu a samozřejmě cisco jako "jádro", které použijí něž udělají offload do asicu. Takže třeba natovací karty jsou leckdy jen hotplug "cpu" které jsou dedikované pro ten nat (a je předem známo jakou mají výkonnost), který se nakonec řeší ve VPP.

Jedná se především o operátorský stack, takže se nikdo moc nezajímá o přívětivost. Když chci dopsat nějakou funkci, tak musím leckdy číst ve zdrojáku jak mají vypadat api zprávy. Určitě doporučuji sledovat mailing list a gerrit. Nejvíc aktuální dokumentaci najdeš přímo v projektu.

takže:
https://lists.fd.io/g/vpp-dev
https://gerrit.fd.io/r/q/status:open+-is:wip
git clone https://gerrit.fd.io/r/vpp
vpp/src/plugins/nat

Ukázka z funkcí natu - vytaženo z dokumentace, umí toho víc než "běžný" linux. Det44 je třeba ED ... takže sice alokuješ třeba 1000 portů na ipku, ale to bohatě stačí a nemusíš řešit netflow ...

name: Network Address Translation
maintainer:

Ole Troan ot@cisco.com

Filip Varga filipvarga89@gmail.com
features:

NAT44-EI - IPv4 Endpoint Independent NAT
1:1 NAT
1:1 NAT with ports

VRF awareness

Multiple inside interfaces

Hairpinning

IPFIX

Syslog

TCP MSS clamping

Local bypass (DHCP)

NAT44-ED - IPv4 Endpoint Dependent NAT
1:1 NAT
1:1 NAT with ports

VRF awareness

Multiple inside interfaces

Hairpinning

IPFIX

Syslog

TCP MSS clamping

Local bypass (DHCP)

DET44 - deterministic NAT (CGN)

NAT64

NAT66

DSLITE

464XLAT
description: "The Network Address Translation (NAT) plugin offers a multiple address
translation functions. These can be used in a raft of different
scenarios. CPE, CGN, etc."
state: production
properties: [API, CLI, STATS, MULTITHREAD]

jihi

skrivy
Jasně 🙂
A nebýt CDN na televizi tak tohle řeším už dávno.

vantomas

Zdravím, chtěl bych si s VPP pohrát na BGP routeru s fullbgp tabulkou. Co jsem našel zmínky na ipng.ch a jak jsem teďka zjistil, tak za tím stojí zmiňovaný Pim Van Pelt, tak v Linux-CP chyběla podpora pro hook na Netlink zprávy, aby se daly sledovat změny v routovací tabulce a synchronizovat je do FIB, ale něco málo kolem toho vzniklo.

Mohl bych poprosit o nějaké tipy a nasměrování na řešení, která by šlo na tento účel použít?

pgb

vantomas No, to máš už hodně staré informace (a to je obecně problém u VPP, jde to strašně dopředu a dokumentace nestíhá). Existují dva pluginy, oba jsou součástí VPP a není třeba se zabývat Pimovým forkem na gitu (Pim leckdy něco vytvoří, otestuje si u sebe a pak pošle patch do VPP).

Jedná se o linux_cp (synchronizuje VPP s linuxem interfacy) a linux_nl (synchronizuje obsah routovací tabulky mezi VPP a linuxem). Nainstaluješ VPP, nastavíš správně namespace, nainstaluješ v něm birda a je hotovo. Pro full BGP table je třeba změnit nastavení paměti VPP.

Zní to lehce ale má to mnohá úskalí. Reálně těch problémů není málo, ale hromada. Můžeš použít to co jsem vytvořil, protože to řeší všechno za tebe. Nicméně cesta je otevřená. Klidně mi pošli pm s telefonem, můžem o tom pokecat.

Petr

vantomas

pgb Ok, děkuji za tipy. V tom případě to vypadá, že linux_* pluginy budou správný směr, kterým se v dnešní době pro tento usecase ubírat. Pomalu začnu nápad vytahovat ze šuplíku, na vhodném železe zprovozním Debian s VPP a pohraju si s tím.

Nabídku hovoru bych zatím rád odmítl, tím, že si to sám prošlapu, tak nejlépe poznám, jak moc by na tu věc bylo spolehnutí v produkci. Jediné co mi do začátku chybělo, tak je prostě jen nasměrování, kterým směrem se ubírat. Pro konzultaci pak bude prostor až bych řešil NAT + shaping 🙂

« Předchozí stránka Další stránka »