Hi Veit, ich bin absolut einverstanden mit eurem Standpunkt. Da sag ich überhaupt nix dagegen. Im Gegenteil: Bin sehr dankbar für die Best Practise Tipps. Es gibt da noch ein paar Punkte, die mich zweifeln lassen bzw. die ich noch nicht verstehe:
Nur TrueNAS auf einer Boot NVMe
-
Fehlerfall - Konfigurationsfehler: Genannt wurde ja, TureNAS direkt auf der Boot Platte zu installieren. Soweit okay. Dann habe ich ne Config die ich exportiere und mir wegsichere. Im Fall der Fälle → Ich komme auf die GUI nicht mehr drauf oder irgendeine Setting war falsch: Format der Boot NVMe, TrueNAS neu installieren, dann die gesicherte Config wieder importieren. Fertig!
-
Fehlerfall - Festplatte defekt: Die defekte HDD kann ich dann über den Pool auswerfen, nach dem sich die Daten auf die funktionierenden Platten verteilt haben, dann rausnehmen? Neue Platte rein, diese dem Pool wieder zu führen, Fertig?!
Wenn ich das alles so richtig verstanden habe, ist das absolut machbar.
Meine angedachte Infrastruktur und Konfiguration hat bisher folgendes vorgesehen:
Altes Setup:
-
Alle Server Systeme (OS) waren bisher direkt auf der Platte meist mit Windows Server installiert + Consumer Board ohne IPMI. Zwecks Update Fehlern und Managebarkeit sollten die Windows Betriebssysteme weg und NAS Systeme virtualisiert werden. Daher der neue Aufbau + Server-Hardware etc.
Aktuelles Setup:
1x Boot SSD für ESXi
1x SSD als Datenspeicher für die virtuelle TrueNAS Maschine
5x HDDs
1x HBA Controller Avago (LSI) Logic Fusion-MPT 6GSAS SAS2308_2 PCI-Express im IT Mode der per PCI-Passthrough die HDDs an die TrueNAS VM durchreicht.
CPU + Ram fest der TrueNAS VM zugeordnet.
HDD Pool mit Stripe alle HDDs dem Pool zugeordnet.
SMB Freigabe um auf die Daten zu zugreifen.
Künfitiges Setup:
1x Boot SSD für ESXi
2x SSD als Datenspeicher für die virtuelle TrueNAS Maschine (Mirror)
7x HDDs ZFS RaidZ2
1x HBA Controller M1015 im IT Mode der per PCI-Passthrough die HDDs an die TrueNAS VM durchreicht.
CPU + Ram fest der TrueNAS VM zugeordnet.
-
Virtuelle Maschine mit ESXi + TrueNAS VM: Sicherung des Stands der VM mit ESXi Snapshots und zusätzlicher TrueNAS Config Export Backup. Zusätzliche Sicherung des ESXi Hosts per Veeam B&R plus zusätzlicher Fileserver für den Datenpool von TrueNAS.
Die Festplatten für den zusätzlichen Fileserver habe ich bisher noch nicht. Sobald TrueNAS 24.10 Stable draußen ist, werde ich da sicher noch die ein oder andere Investition dahingehend tätigen.
Es erschreckt mich, dass es stand heute nicht gefahrlos möglich ist, ein PCI-Passthrough eines HBAs in die VM von TrueNAS durchzureichen.
Was hier beschrieben ist verstehe ich so:
Now, here’s the thing. What you want to do is to use PCI-Passthrough for your storage, and create a virtual hardware platform that is very similar to your actual physical host… just smaller. So put FreeNAS on the bare metal, create your pool, and make sure that all works … first! Then load ESXi. ESXi will want its own datastore, and cannot be on the PCI-Passthrough’d controller, so maybe add an M1015 in IR mode and a pair of disks for the local ESXi image and datastore (you have to store the TrueNAS VM somewhere after all!). Create a TrueNAS VM and import the same configuration.
Erst TrueNAS auf Bootplatte + M1015 in IR für den Datenpool der virtuellen Maschine → ESXi installieren und im ESXi dann TrueNAS nochmals virtualsiert?! Das wäre ja doppelt gemoppelt?! Bin etwas irritiert 
Alternative:
SAS Controller der Backplane ausbauen und direkte per SATA Onboard anschließen:
bei 6 Onboard Sata Anschlüssen kann ich nicht genug SSDs für 2 VMware Datastores (Mirror) anschließen + 7 HDDs für ZFS RaidZ2.
Leider hat das Mainboard keine Onboard SAS Schnittstellen. Hätte es das, dann muss der Controller auch erst mal vom TureNAS und ESXi Hypervisor erkannt und eingebunden werden können. Daher fällt diese Alternative weg.
Es war auch nie angedacht, mit TrueNAS als Hypervisor irgendwas zu virtualisieren. Dafür habe ich genug andere Server 
Einzig TureNAS sollte als Virtuelle Maschine Laufen mehr nicht. Klar kann man noch mit Apps arbeiten aber das kommt zu nem anderen Zeitpunkt. Kurz um, solange die Config von TrueNAS und die Daten in meinem HDD ZFS RaidZ2 nochmals auf nem zweiten Fileserver gesichert sind, sehe ich hier kein Problem nicht zu virtualisieren. Ich kann aber muss nicht. Final entschieden habe ich jedoch noch nicht. Wege, wie man das ohne Virtualisierung lösen kann, wurden gezeigt. Wenn die Virtualisierung funktioniert, ist es meiner Meinung nach mit meinem Vorhaben, die elegantere Lösung, einen Konfigurations nicht Hardwarefehler ungeschehen zu machen, jedoch und da gebe ich eurer Meinung die größte Gewichtung: Keep it simple, wieso sollte man sich Probleme ins Haus holen, die man vermeiden kann. Die Dos and Donts habe ich gerne mitgenommen, wenn auch teuer und unfreiwillig bezahlt.
