Ich habe einen alten Fujitsu Primergy RX300 S8 R2 von einem Arbeitskollegen für lau bekommen und auf diesem auf zwei Festplatten gemirrored ProxmoxVE installiert.
Wie sind eure Erfahrungen hierzu?
Hat jemand von euch TrueNAS virtualisiert auf ProxmoxVE im Einsatz und schonmal das Problem gehabt, das Dataset neu einbinden zu müssen?
Klappt das, obwohl die Festplatten “nur virtualisiert” weitergereicht wurden?
Es mag offensichtlich sein: Ein SATA Controller auf der Hauptplatine ist auch ein HBA, ein „Host Bus Adapter“. Diesen in Gänze durchzureichen funktioniert. Es kann, muss aber nicht, ein eigener PCIe HBA sein: Solange alles, was an den Controller angeschlossen ist, für TrueNAS ist.
Also z.b zwei NVMe für Proxmox und der komplette SATA Controller für TrueNAS.
Das heißt - wenn ich dich richtig verstehe - müsste ich einen kompletten HBA durchreichen, um so alle Platten als Datenpool “separat” verwalten zu können?
Aber wieso kann ich nicht auch einzelne Festplatten durchreichen bzw. warum könnte ich NVMe’s durchreichen? NVMe’s sind doch auch “nur” Festplatten, oder liege ich da falsch?
Wenn ich einen kompletten HBA durchreiche, benötige ich hierfür zwei Expander (einen für die HDDs der Proxmox-VM + einen für die restlichen Platten vom Datengrab). Hatte mich deswegen hier schonmal informiert:
TrueNAS und ZFS brauchen direkte Kontrolle über die Festplatten/SSDs.
Bei SATA bedeutet das, dass man einen HBA durchreichen muss. Das kann, wie von @yorick völlig richtig bemerkt auch der onboard SATA-Controller des Mainboards sein.
Man braucht dann nur ein anderes Medium zum booten. Viele Mainboards bieten eine Anzahl an SATA-Ports am Controller (den man durchreicht) und einen einzelnen M.2 Slot für eine NVMe-SSD - die kann man dann zum Booten des Hypervisors und für die virtuellen Festplatten der VMs nehmen.
Was NVMe angeht: das sind zwar auch “nur” SSDs, aber jede einzelne ist ihr eigenes PCIe Device.
Der Punkt ist, dass man auf der PCIe-Ebene durchreichen muss.
Wirklich. Alles andere führt über kurz oder lang zu Datenverlust. Die Horror-Stories hier im Forum sind endlos.
Vielen lieben Danke dir @pmh für die ausführliche Erläuterung!
Ich hab schon mit meinem Arbeitskollegen (von dem ich den Server für lau bekommen habe) drüber gesproche und er meinte, dass vermutlich dass sinnvollste wäre, sich eine 8-fach Backplane (für 8 Platten) zuzulegen, welche man dann mit einem Controller ansteuern kann.
Und zusätzlich eine 4-fach Backplane (wo dann gemirrored das Proxmox + gemirrored die Platten der VMs drauf kommen), welche man dann mit einem zweiten Controllern ansteuern kann.
Mal ne ganz einfache Frage: Was möchtest du außer Truenas eigentlich noch unter Proxmox virtualisieren? Und reicht dafür nicht der Hypervisor von Truenas selbst?
Ich schätze nämlich mittlerweile viel zu sehr das KISS-Prinzip, statt den Film Inception auf Computerhardware oder irgendwelche coolen Frickelanleitungen auf Youtube, aus denen der kommende Datenverlust nur so raustrieft, nachzustellen.
Ich würde mir gerne die folgenden Sachen einrichten:
PaperlessNGX
JellyFin
Nextcloud
OPNSense (zweite Instanz, welche als Slave zu meiner Baremetal-Installation läuft)
OpenShift / Kubernetes zum Spielen und in die Thematik reinkommen
Ich bin beim KISS-Prinzip schon bei dir. Man muss ja nicht alles zerbasteln. Mein “Problem” ist nur, dass mein Server nunmal da ist und ich momentan nicht ein extra Storage mit TrueNAS als Baremetal-Installation hinsetzen kann.
Daher habe ich halt überlegt, wie ich das “in einem” zusammenfassen kann :)…
@pmh@yorick
Danke nochmals für eure Erläuterungen?
Nur noch eine kurze Frage .
Mit zwei Backplanes und getrennten HBAs funktioniert doch aber meine Idee sauber und zuverlässig, oder?
Mein Arbeitskollege hat mir ein paar RAID-Controller mitgegeben, welche er nicht mehr brauchte und ich flashen die alle in den IT-Mode, um die so als HBA nutzen zu können…
Klar. Frage ist, weshalb man so viel Strom verbrauchende Teile will. So schlecht ist die Virtualisierung in TrueNAS auch nicht, dass man immer unbedingt Proxmox braucht.
In der Tat. Für das oben geschilderte Szenario (opnsense, paperlessNGX, Jellyfin, nextcloud, k8s) ist aus meiner Sicht eine Kombination von ein paar Apps auf Truenas und wenigen VMs ausreichend. Ich betreibe meine Truenas Server hier bei ähnlichen Anforderungen schon seit 2 Jahren stabil, direkt auf der Hardware, ohne Proxmox. Die Virtualisierung in Truenas ist dafür ausreichend.
Wobei ich aus eigener Erfahrung sagen kann, paperless-ngx macht nur richtig Spass, wenn man es komplett (also alle zum Host durchreichbaren Ordner inkl. Datenbank) auf einer schnellen nvme-DDS installiert und zudem mehrere CPU-Kerne nutzen kann.
Ich habe es auf meinem PC so gemacht. AMD Ryzen 7 3700X (8C/16T) 3,5 -~4GHz) und eine entsprechende nvme. Habe bis jetzt ca. 2.700 Dokumente darin und es läuft immer noch wie am ersten Tag. Hatte mal zum Test paperless auf dem neuen Raspi5. Aber der hat sich beim Aufbau der Dokumentenübersicht regelmäßig “die Ohren gebrochen”. Das war nix.
Es sollte also wenn es gut laufen soll, durchaus etwas Rechenleistung für paperless vorhanden sein. Gerade beim Scannen kann man die Anzahl nutzbarer CPU-Kerne einstellen. Da sind einige mehr davon ganz angenehm.
Daten der Sicherungsroutine werden automatische abends auf das TN-System geschoben
Was JellyFin betrifft, ich habe es auf meinem Celeron G1610T zu laufen gehabt. Natürlich ohne Transkodierung und auch nur für 1 Fernseher. Das ging problemlos.
.