Ciao a tutti, sono nuovo e spero con questo post di non infrangere nessuna regola. Sono alla prima configurazione di un sistema truenas (SCALE per l’esattezza) ed vorrei utilizzare il seguente Hardware:
Server DELL PowerEdge T40
CPU Intel Xeon E-2224G
64 GB DDR3 (non ECC ma intenzionato a sostituirla se serve)
2 SSD NVME 980 PRO da 1TB
3 HDD WD GOLD 10 TB
NIC Intel con 2 Porte 10 Gbps
Avrei intenzione di utilizzarlo come repositori dei dati che sono sia di piccole e di grandi dimensioni (diciamo anche file di 100-150GB), montare PLEX, utilizzarlo come TimeMachine, che gestisca degli snapshot e che possa replicare tutto il contenuto magari tramite Rsync su un NAS QNAP.
Dato che non so come orientarmi, qualcuno potrebbe gentilmenti suggerirmi come configurarlo? tipo di raid, se utilizzare i dischi nvme come storage o come altro se aggregare i canali di rete ecc. ecc.
Grazie
Ciao e benvenuto!
Truenas Scale è un’ottima scelta, ma dato che non è un sistema proprio semplicissimo da maneggiare ti consiglio un attimo di soffermarti su alcune letture, giusto per evitare errori piuttosto comuni
- https://forums.truenas.com/t/zfs-storage-pool-layout
- https://forums.truenas.com/t/assessing-the-potential-for-data-loss
- https://forums.truenas.com/t/ixs-zfs-pool-layout-white-paper
Ho spulciato un po’ le specifiche del server che hai scelto, e ti direi che è una buona scelta, però tieni a mente
- sembra non avere più di 3 porte SATA, ma avendo detto di avere 3 dischi a disposizione non credo che ti desti preoccupazione per adesso; questo però ti limita parecchio nella scelta del layout della pool, con soli 3 dischi (escludendo uno stripe layout) ti rimane solo un 3x mirror (ca 10TB) o un raidZ1 (ca 20tb). Nel primo caso puoi tollerare la perdita di 2 dischi, nel secondo solo di uno
- per quello che riguarda le ram, per ECC o non ECC non c’è una risposta oggettivamente giusta… io personalmente dopo aver iniziato senza ECC sono passato ad un sistema che lo supportasse, e ho un pensiero in meno
Attenzione, monti sicuramente ram DDR4, non DDR3, e devono essere Unbuffered (che purtroppo hanno un costo esagerato rispetto la controparte Registered… se decidessi di passare ad ECC e avessi difficoltà a reperirle io le mie le ho acquistate da questo store su ebay) - non mi pare di aver visto supporto nativo per dischi NVME, ma puoi benissimo armarti di due adattari passivi a basso costo
da inserire nei due slot x4 disponibili… oppure se la scheda supporta la bifurcazione, utilizzare un adattore passivo con più slot NVME. - avrai bisogno di un disco dedicato per bootare, TN non supporta il partizionamento dei dischi per bootare… qualsiasi cosa di piccole dimensioni va più che bene (16/32/64/120gb), che puoi collegare ad una porta usb con un adattore economico tipo questo
e risparmiare altri slot (non ti consiglio di usare una chiavetta USB, ce ne vorrebbe una almeno MLC che mediamente costa più di un SSD+adattatore) - gli nvme puoi usarli per far girare le app sicuramente (in mirror!), non penso siano adatti a L2arc (penso siano troppo grandi), o per SLOG (non credo ti serva)… su questo meglio aspettare persone più esperte @Davvo
- NIC Intel è perfetto, ma se non hai la 10 giga negli altri dispostivi, e l’integrata è Intel a sua volta, ti direi di usare direttamente quella e risparmiare un po’ di corrente
- la ventilazione è importante, specialmente perchè il case mi sembra contenuto
Ciao Vittorio, innanzitutto occhio coi prodotti DELL visto che spesso impongono limitazioni e ti costringono ad utilizzare parti specifiche (soprattutto per quanto riguarda le configurazioni in rack).
Per iniziare ti invito a leggere anche le seguenti risorse:
- Introduction to ZFS | TrueNAS Community
- What's all the noise about HBAs, and why can't I use a RAID controller? | TrueNAS Community
- 10 Gig Networking Primer | TrueNAS Community
- Resource - LACP ... friend or foe? | TrueNAS Community
Anche qui si possono vedere le specifiche del tuo sistema: come scritto, supporta DDR4; io suggerisco di utilizzare memoria ECC visto che il sistema sarà acceso 24/7.
Occhio all’alimentatore, siamo al limite! Proper Power Supply Sizing Guidance | TrueNAS Community
Ora io personalmente eviterei il RAIDZ1, ma con le dovute precauzioni e con la consapevolezza delle sue limitazioni si può tranquillamente avere una pool per i dati con i tuoi 3x WD GOLD. Leggi le risorse che ti ha linkato @oxyde e poi ne riparliamo.
Il vero quesito è cosa fare con i due SSD: 1TB sono molto grandi per utilizzarli solo per una POOL dedicata alle app/dockers/containers/qualsiasicosagiriorasuSCALE, specialmente visto che mi sembra tu sia intenzionato ad utilizzare solo plex.
Potresti quindi utilizzare solamente uno dei due SSD per le app/dockers/etc e il secondo, partizionato a metà, come L2ARC (potenzialmente anche solo per i metadata) per aumentare le performance in lettura: nota come non puoi utilizzare tutti i 1024 GB in quanto la L2ARC occupa spazio nella ARC (RAM), e il ratio consigliato per evitare di perdere prestazioni è da 4 a 8 (64 * 8 = 512 GB).
Suggerirei quindi di iniziare con un singolo SSD per le app visto che la parte fondamentale, ossia i film/serietv, saranno conservate negli HDD e che quindi in caso di problemi dovrai solamente reinstallare e reconfigurare plex (e tutte le altre app del caso); se invece vuoi avere sin da subito una sicurezza maggiore anche da quel punto di vista puoi andare con un MIRROR dei due SSD.
Tieni conto che il L2ARC è solo una estensione della cache di sistema e quindi, qualora si verificassero problemi, non impatterebbe in alcun modo sulla sicurezza dei dati: in ogni caso potrai scegliere in qualunque momento di passare da L2ARC e singolo SSD per plex/app al MIRROR per ples/app e vice versa (unica cosa dovrai probabilmente riformattare il disco per utilizzarne metà come L2ARC).
Per quanto riguarda il NIC io suggerisco (come da risorsa linkata a inizio post) di andare direttamente con la fibra (SFP+); in ogni caso, si trovano facilmente sia Intel X520 / X710 (SFP+) sia X540 (10GBase-T), nuovi o usati.
Esempio X520 e X540 direttamente su Amazon, ma eBay è pieno.
Tieni conto che, comunque, 3 dischi in RAIDZ1 non andranno nemmeno vicino a saturare i 10Gbps di banda (ma è sicuramente meglio che acquistare NIC da 2.5Gbps).
SCALE scrive costantemente sulla boot pool, quindi è necessario usare un SSD per evitare di trovarsi a cambiare frequentemente il disco di boot. E comunque se hai un backup della configurazione (archivio tar scaricabile dalla WebUI) sei a posto: se hai problemi basta collegare un nuovo disco di boot, installarci nuovamente TN ed importare la configurazione per avere tutto esattamente come prima.
Suggerisco inoltre di utilizzare il Multi-Report in quanto semplifica enormemente la vita (anche se al momento sta avendo qualche problemino con la notifica via mail visto che SCALE ha cambiato il modo in cui si inviano).
Facci sapere quando hai digestito tutte le informazioni, rimaniamo a disposizione! 
P.S.: lo SLOG non ti serve. Una volta scelto l’hardware ci sono giusto un paio di cose da sapere su come configurare il sistema (dataset, etc) per ottimizzare le performance.
WOW che community reattiva.
Vi ringrazio infinitamente, effettivamente la ddr è 4 e non 3 come avete giustamente rilevato, ho capito (se ho capito bene) che per i miei usi secondo voi (vi riunisco nella risposta perche siete stati entrambi eccezionali) usare gli nvme per velocizzare i processi di lettura e scrittua come L2ARC e SLOG non è molto utile, quindi potrei usare i due nvme (che potrei montare da 2 (o 4) TB per avere delle unità di rete molto veloci per app e dati frequenti e creare una partizione da 500 GB (64GB di memoria x 8) o su uno dei dischi o su entrambi se decido di fare un mirror (ma nache no dato che poi ho intenzione di replicare il tutto su un altro nas con rsync posizionato in un’area diversa e collegato sempre a 10gbps).
Sul lato dischi meccanici ho pensato di utilizzare la porta sata del CD e ricavare quindi una architettura da 4 dischi in RAIDZ1 mentre è ottimo il suggerimento di installare il TN su un disco da pochi GB con l’adattatore USB.
Ho notato che le performance sono eccellenti con la rete a 10Gbps ho fatto dei test di lettura e scrittura arrivando a a 600 MB al secondo. anche se non riesco ad andare oltre (sto indagando per capire dov’è il collo di bottiglia).
Cosa ne dite della configurazione che ho pensato?
Intanto vi rinnovo i complimenti e grazie.
L2ARC (ARC di 2° Livello): non deve avere alcun tipo di backup perchè è una cache che migliora le prestazioni in lettura.
Come regola generale sconsigliamo di partizionare un singolo disco ed utilizzarlo per cose differenti.
Esempio: disco 1 partizione A e B, disco 2 partizione A e B
MIRROR DATI
* D1PA
* D2PA
MIRROR SLOG
* D1PB
* D2PB
Con 4 dischi, ammesso e non concesso che tu riesca a recuperare una porta SATA funzionante, suggerisco un RAIDZ2.
Che test sono?
Ho approntato la macchina TN con solo un nvme ed un disco da 3,5” oltre a nic e ram, ho scritto e letto un file da 140GB posizionandolo su un MacBook Pro m4 max con adattatore di reta 10 Gbps/thunderbolt prima sul nvme e poi sul wd Gold raggiungendo nel caso dell’ nvme 580 MB/s poi ho provato a copiare una cartella di 80 GB con 36000 files. Ovviamente le performance migliori si ottengono con il file grande.
Ora sono in attesa di provare la configurazione che mi hai suggerito, ma devo ordinare i dischi. Quando avrò provato pubblicherò i risultati.
Grazie.
Tornando invece sul discorso app…
Puoi scegliere di usare un solo disco allo scopo, però non sottovalutare la strategia di backup: per questo caso specifico, ok il Sync su un altro sistema, ma io farei anche un backup diretto sulla pool più capiente con un task di replicazione; oltretutto valuta anche se un down prolungato possa crearti problemi (esempio il disco si rompe, il tempo di ordinarne un altro ecc ecc).
Poi effettivamente 1tb interamente per quello è tanto, contando anche che Plex genera tantissimi file se la collezione è generosa, avresti tanto spazio inutilizzato… Non so se ti conviene il discorso “pool più veloce” sinceramente, devi valutare in base all’uso.
Plex lo hai già provato? Hai il pass? Io personalmente per il solo stream mi sono trovato moooolto meglio con Jellyfin
Sperando di fare cosa gradita e di portare un piccolo contributo, condivido i risultati delle prove che ho fatto ieri sera come ho scritto sopra e per completezza della risposta a Davvo riporto quanto misurato:
nel primo grafico la copia di 80 GB composta da circa 36000 files, nella parte centrale del grafico su un disco da 3,5 pollici a 7200 giri (WD GOLD 10TB) mentre nella parte finale del primo grafico la stessa copia fatta su un ssd nvme 980 pro
Nel secondo grafico invece la copia di un solo file da 140 GB. Nella parte di sinistra sul disco meccanico e sulla parte destra sull SSD NVME. (la riga sopra è quella dei 6Gbps).
E’ interessante vedere come anche sul disco meccanico vi siano dei picchi molto elevati, presumo siano dovuti ad una sorta di caching fatto dalla memoria, ma mi rimetto alla parola degli esperti se vorranno / vorrete commentare.
