Server pre ISP

Miso

Ahoj, potreboval by som prosím poradiť. Už niekoľko rokov máme server s linuxom na desktopovom CPU i9 10900, ani raz nebol problém a to ide 24/7. Má M2 SSD s čítaním a zápisom 3,5GB/s vo softvérovom raide. Beží na ňom: DNS, LibreNMS, CFcontrol, Unms, Pohoda aj s dvoma klientami na vzdialený prístup.

Ide o to, že potrebujeme všetko prerobiť na proxmox a zároveň treba nový hardware. Vydať sa tak isto desktopovým riešením alebo do serverového? Mínus v serverovom vidím v spotrebe a výkone, keď že desktopový by sme skladali pravdepodobne R9 9950X a ten spustiť v 65 alebo 100W Eco mode aby to bežalo v super teplotách a menšej spotrebe. Samozrejme tú najkvalitnejšiu matičnú a zdroj by sme vybrali.

Zatiaľ máme takýto serverový návrh
Dell PowerEdge T640 Gold 16-Core 2.60 GHz

2450 EUR bez DPH
1 x PowerEdge T640 | iDRAC9 Express | H730 | 8 LFF | 2* 1Gb Ethernet
1 x CPU Intel Xeon Gold 6142 16-Core 2.60 GHz 22M Cache
8 x 32 GB DDR4 2666
1 x Dell Perc/H730P Raid Controller 12G 2 GB Cache s baterií, podporuje RAID0 - RAID60, extrémně výkonný
1 x Dell iDRAC 9 Enterprise Licence
1 x 1x DELL zdroj 750W PowerEdge T330 T430 T630 T640
2 x Kingston 1.92 TB SSD Data Centre DC600M (Mixed Use) Enterprise nový
2 x Adaptér disku 2.5" na 3.5", nezbytné pro všechny 2.5" disky

Aký je váš názor alebo nejaké odporúčania ?

jcltm

Miso Je pravda že u AMD můžeš očekávat nižší spotřebu (a to o dost, desktop na novém Intelu v idle třeba okolo 60 W, na novém AMD klidně jen 14 W (má zkušenost)) + tam IMHO můžeš použít i ECC RAM.
Kupovat teda ale SSD od Kingstonu do serveru, to chce odvahu. Je to jeden z největších $hitů na trhu. A 2500 Eur, to je taky dobrá pálka za takhle starý HW.

jezdec

Miso

Osobne doporucuju dat ty DNSka zvlast kvuli dostupnosti, na vsechno ostatni to vykonove stacit bude.

Ty SSD bych pouzil vyhradne na VMka a kontejnery ne na datovy zapis + vypnul bych na nich swap, samozrejme i na samotnem proxmoxu.

V pripade pouziti desktopove sestavy bych problem nevidel, za slusne prachy clovek dostane skvely vykon. Osobne bych sel urcite do AMD (pomer cena/vykon/spotreba)

Miso

jcltm akú značku SSD by ste odporučili? Máme M2 Samsung a napr jeden odišiel po 2och týždňoch.

Miso

jezdec Máme ešte sekundárny DNS server na kompletne inom hardvéru v inej lokalite, takže zálohu máme.

A čo sa týka raidov diskov, používate softvérový alebo hardverový ?

pedro4444

jezdec
Ako vypnes na ssd swap9vanie? Véd to vieš len priamo v Linuxe a on to vypne systémovo nie pre disky alebo?

Vďaka ak sa mylim

jezdec

Miso

My mame na serverech HW Raid (SAS disky) ale doma mam SW RAID zapomoci ZFS (mirroring) (2xNVMe SSD od WD) coz je taky skvela volba.

jcltm

Miso Já beru už jenom Samsung a odešel zatím jeden jediný, který byl z nějaké blbé série (i se o tom v médiích psalo). Zato krámů od Kingstonu už jsem vyměňoval fakt dost (sám bych to ale nikdy nekoupil). Pokud odešel po 2 týdnech, byl vadný už z výroby, stane se... V serverech je mám nasazené už dlouhé roky jak se SATA tak s M.2 PCIe a drží. Když si vezmu kolik bych za tu dobu měnil HDD...

m4rk3J

jcltm Souhlas, Samsungy mi drží klidně i kusy z 2014 (ale to mám jen v běžných PC - 840 EVO myslím), serverové mám mnohem mladší.
Kingstony jsme měli/máme ve škole a skoro všechny asi po roce poumíraly (je možné, že je to vadná série, ale už tomu nevěříme)... naštěstí to Alza vyreklamuje do dne a vrací peníze 😃

jcltm

jezdec Ano, ZFS mirroring mám na Proxmoxu taky na pár místech a pohoda. Vždy 2× Samsung SSD.

jcltm

m4rk3J Kingstony jsme měli/máme ve škole a skoro všechny asi po roce poumíraly (je možné, že je to vadná série, ale už tomu nevěříme)...

Ne, tam to není vadná série, ty umírají v podstatě všechny. Je to čínský $hit...

Miso

Okej takže Kingstonu sa budem držať ďalej.
A celkovo pre použitie, ktoré som špecifikoval vyššie by ste, ktorú možnosť vybrali ?
SW alebo HW raid ?
Desktopová verzia alebo serverová verzia cpu ?

jcltm

Miso ZFS raid je IMHO naprosto v pohodě, za sebe tam vidím oproti HW RAIDu spíš jen výhody. Stejně je potřeba dělat si automatizovaně zálohy ještě na jiný stroj.
Co se týče HW, nebál bych se toho desktopového, osobně tak pár serverů na Ryzenu mám a nevím o tom.
Ono když koupíš něco takového https://www.mironet.cz/asrock-deskmini-x300-am4-apu-az-65w-bez-ram-slot-2x-m2-pcie-2x-25-sata-iii-hdmi-dp-vga-lan-bez-os+dp462790/ , do toho třeba 4600G nebo 5500GT, chladič dáš Noctuu http://chlazeni.heureka.cz/noctua-nh-l9a-am4/ , RAMky dle potřeby (lze až 64 GB) a k tomu dvě slušná M.2 SSD od Samsungu, tak je výsledná cena naprosto směšná, spotřeba v idle okolo 10 W a naprosté ticho. Na to co píšeš by to mělo bohatě stačit. Sám pár takových serverů mám a opravdu velká spokojenost. Jedu na tom všude Proxmox. Teď se u nás pomalu začíná prodávat i Deskmini x600 s AM5, DDR5 a 2,5GbE - hned jak bude dostupný beru si první kousek na testování - pokud chceš výkonu přeci jenom víc, tak je to taky cesta. A nebo prostě fullsize desktop, tam bude ale spotřeba už vyšší. Sehnat se dají i pěkné skříně do 19" racku.

hapi

na swap kašly, ZFS to zabije daleko rychleji.
2x2TB kingston fury, raid1, obsazeno 200GB asi 10 virtualů, několik procent životnosti SSD pryč za 2 týdny. Prakticky to nonstop zapisovalo průměrně 100MB/s na každý disk. Tomu zabránit protože COW které to způsobuje na ZFS je na tom založené. Google search: zfs SSD write amplification
Přechod na BTRFS, ruční vypnutí všech featur pro snížení write amplification, reálně zápis snížen na 1/10 toho co dělalo ZFS nicméně stále 10x větší než na softwarovém mdadm raid1 který ale nemá meta data a teda se nedá zjistit jestli zapsaná data jsou nepoškozená. Stačí si porovnat to co skutečně zapisuje virtual a to co skutečně se pošle do disku. No, net je toho plný.

Možné řešení je koupit i starší podniková SSD. Ale taková SSD asi nebudou do M.2 slotu.

Každopádně hodně zdaru.

jezdec

hapi

To co tu pises je malinko zavadejici... dost zalezi na use-case a ano souhlasim s tim pouzivat kvalitni SSD k tomu urcene, obycejne levne SSD budou rychle KO (mam s tim zkusenost)

Osobne mam v ZFS (RAID1) tyto disky 2x WD Red SN700 NVMe 1TB

(Bezi na tom Proxmox a asi 4 kontejnery a budou na nich bezet i nejake VMka).Vylozene data, napr Nextcloud mam na dalsim ZFS RAIDu1 kde jsou zatim 2x starsi 2TB WD enterprise disky.

Uvidime co to bude delat, a casem klidne poreferuji jak se to bude chovat

Jinak:
Doporucuji precist dokumentaci k Proxmoxu

https://pve.proxmox.com/wiki/ZFS_on_Linux

Konkretne bych vyzdvihl tohle:

SWAP on ZFS
Swap-space created on a zvol may generate some troubles, like blocking the server or generating a high IO load, often seen when starting a Backup to an external Storage.

We strongly recommend to use enough memory, so that you normally do not run into low memory situations. Should you need or want to add swap, it is preferred to create a partition on a physical disk and use it as a swap device. You can leave some space free for this purpose in the advanced options of the installer. Additionally, you can lower the “swappiness” value. A good value for servers is 10: