Praktické zkušenosti se síťováním IPv4 u Hetznera

zdeneksvarc

Testuju dedicated server u Hetznera. Běží mi tam Proxmox VE, který má přidělenou hlavní IP adresu a jednotlivé kontejnery mají přes interní bridge přidělené další plovoucí IPv4. Všechno funguje jak má, ale limit 6 plovoucích IP adres na jednu hlavní IP adresu by bylo málo pro produkční nasazení.

Možností je tedy zažádat o IP subnet, který je routován na hlavní IP adresu. A tady přichází můj dotaz na praktickou zkušenost. Jak nejlépe subnet proroutovat k jednotlivým kontejnerům? Napadá mě několik možností, každá má své pro a proti. Rád si nechám poradit. Jako bonus můžeme probrat variantu s několika Proxmox uzly.

Díky 🙋🏻‍♂️

zajdee

zdeneksvarc

pro interni routovanou sit se daji pouzit primo verejne adresy, ale tim dojde ke ztrate tri adres ze subnetu, coz muze nekdy dost vadit (zvlast u mensich subnetu)
alternativne se da vnitrni sit adresovat na privatnich adresach a routovat IPv4 adresy s maskou /32 primo na konkretni privatni adresu; ve virtualu pak tuhle adresu priradit na dummy interface nebo v nejhorsim pripade na loopback
a pro ty, kteri maji radi NAT, se samozrejme nabizi i NAT 1:1. :-)

jap

Pokud mas tu hlavni ip na vmbr0 tak staci dat jako alias jedno ip z prideleneho subnetu (treba x.x.x.1/maska) a na vm pak nastavit jejich ip (treba x.x.x.2/maska) a jako gateway to co mas jako alias na vmbr0 (tedy v tomto pripade x.x.x.1)

skrivy

jap Já bych to asi neprasil do té samé sítě.

(Nemám otestováno - budu rád, když mi k tomu někdo dá feedback, jestli to není kravina) Pokud chceš maximálně využít adresní prostor, tak serverům dávej interní adresy a na serveru udělej NAT 1:1. Tím bys měl být schopný využít i adresy, které padnou na adresu sítě a broadcast.

Jinak bych vytvořil vmbr1, které bych plácnul jednu adresu, povolil forwarding a udělal z toho normální router.

skrivy

zajdee Jak v tom alternativním případě s /32 routou bude vypadat odchozí traffic? Bude odcházet z interní adresy a pak se s ním stane co? Nebo bude odcházet z adresy toho dummy interfacu?

zajdee

skrivy to je spravna otazka; zalezi na konfiguraci. Pokud default routa bude mit i atribut "src <public-ip>", bude odchozi provoz iniciovan z verejne adresy.
Je to, pravda, trochu hack, ale v dobe nedostatku IPv4 adres (a u Hetznera se nove za kazdou adresu v bloku dost priplaci) je kazdy hack dobry. 🤔

zdeneksvarc

Díky za náměty. Už se mi zvolené řešení rýsuje. Později se o něj podělím.

pgb

A napadla mě otázka, pro jaké služby to máš? Dal by se použít třeba nginx jako reverzní proxy a můžeš mít ipek kolik chceš

zdeneksvarc

pgb Jsou tam služby mimo http/https, takže s reverzní proxy to bohužel nevyřeším. Každopádně pokud reverzní proxy, tak za mě nginx ne, ale Caddy. Používám dlouho od první verze. Dvojková verze je úplně naprosto fantastická 🤌 Mimochodem tohle fórum jede na Caddy dva roky.

zdeneksvarc

Ještě jednou díky všem z náměty. Podělím se o řešení a nějaké poznatky okolo.

Plovoucí IP adresy

Plovoucí IPs spolu s main IP na jednom vmbr0 fungují hezky, jenom je třeba požádat o virtuální MAC ke každé takové IP adrese. V opačném případě to způsobí abuse report od Heztnera k vůli neznámým MAC adresám. Alternativou k virtuálním MAC adresám je použít brouter nebo NAT 1:1, čímž se zamezí propagaci MAC adres na uplink.

Subnet

Subnet použitý na vmbr0 logicky použije tři drahocenné IP adresy pro provozní účely (adresa sítě, adresa gatewaye, adresa broadcastu). Je to však nejčistější řešení, které jsem proto také zvolil. Opět se dá alternativě použít NAT 1:1 s rozsekáním subnetu na /32 segmenty a IP adresy tak maximálně vyšetřit.

WireGuard

Naprosto ideální pro vzdálenou správu. Debian 11 má WireGuard v základním repozitáři spolu s integrací do systemd. Instalace Proxmox VE na Debian je asi nejčastější scénář, takže systemctl enable wg-quick@wg0.service + nastavit Hetzner stateless firewall a není co řešit.

vSwitch

Výborná věc, která dokáže virtuálně L2 propojit nejen jednotlivé Hetzner dedikáče, ale spojit je na Hetzner Cloud VPS. Což je super, pokud chceme mít nějaké VPS mimo Proxmox.

To je z nejdůležitějších poznatků asi všechno. Vlastně ještě jedna věc mě napadá. Musím ocenit stupeň automatizace a rychlost, s jakou Hetzner reaguje na objednávky a požadavky přes Robota. Všechno v řádech desítek vteřin až minut. To dělá profesní život adminům hodně lehčím.