Bin kurz vor meinem Start mit TrueNAS - Hardware/Design Empfehlungen erbeten

International
, ,
1

CrossPost mit deutschen Text aus dem General Forum:

Hallo zusammen,

Nach vielen (mehr als 10) Jahren der Nutzung meines QNAP TS-563 (5 x 3TB WD RED in RAID6) habe ich mich endlich entschlossen, etwas technisch anspruichsvolleres zu bauen und gleichzeitig die Leistung und den Speicherplatz zu erhöhen, ohne viel Strom zu verbrauchen.

Ich habe mir eine Menge YouTube-Videos angesehen, viele Artikel gelesen und auf Discord nachgefragt. Mein ursprünglicher Plan war es, ein Gigabyte MC12-LE0 und einen gebrauchten Ryzen Pro zu kaufen, aber leider sind die Preise explodiert und ich glaube mehr als 150€ lohnt sich für das Mainboard nicht

Mir ein Bekannter ein „altes“ SuperMicro X11SSL-F mit einem Intel Xeon E3-1230V6 (3,50 GHz, 4 Kerne, 8 Threads, 8 MB) und 16GB ECC DDR4-2400 RAM für ~150€ angeboten.

Das Board kommt ohne NVME und bietet 6 SATA-Anschlüsse:

Nun meine Fragen:

Sollte ich eine SATA-SSD für das Boot-Laufwerk verwenden und die restlichen 5 SATA-Ports für Festplattenspeicher nutzen oder besser eine PCiE-Dual-NVME-Extender-Karte verwenden und alle 6 SATA-Ports für Festplattenspeicher nutzen?

Wenn ich eine NVME-PCI-Karte mit 2 Steckplätzen verwende, sollte ich dann besser einen gespiegelten Boot-Pool oder Boot- plus Zfs-Cache/App-Speicher betreiben? WElche Hersteller empfehlt ihr? Soweit ich aus den SuperMicro-Dokumenten entnehmen kann, funktioniert die PCI-Bifurcation mit der X11SSL-F.

Es ist schwer, irgendwelche Aussagen darüber zu finden, welche Festplatten man kaufen sollte. Soweit ich das zusammenfassen kann, kaufe CMR ist und alles ist gut?

Da ich mein Budget (1000 - 1500 €) für Festplattenspeicher nicht komplett sprengen möchte, denke ich, dass 4TB der Sweet Spot ist?

Irgendwelche Empfehlungen für das Netzteil? 400W sollten ausreichen oder?

Das Motherboard hat zwei Gbit-Ethernet-Ports, würden ihr sofort auf 10G aufrüsten? Ich bin mir nicht sicher, ob diese Hardware mehr als 100Mb/s bietet. Im Moment habe ich nur einen PC mit 2,5G und müsste einige neue Switches und Kabel kaufen.

Vielen Dank fürs Lesen ich freue mich auf die Meinungen der Experten =)

2

Immer noch preislich ok für Serverhardware, denke ich. Offiziell unterstützen nur die PRO-CPUs ECC, inoffiziell aber wohl alle, d.h. man könnte das mit einem günstigeren Ryzen kombinieren.

Erscheint mir eher wenig, hängt aber auch von der Leistung auf den einzelnen Schienen ab.

Für einen Bootpool reicht eine einfache SSD, es ist extrem einfach die gespeicherte Konfiguration wieder herzustellen, wenn man mit etwas “downtime” leben kann. Selbst bei gespiegelten Pool kann es dann Probleme geben, weil das Bios von der falschen HDD botten möchte.

ZFS Cache lohnt sich nur in ganz bestimmten Fällen, das ist eine ewige Diskussion hier.

Genau, auf CMR achten. Größere Festplatten sind meistens günstiger per MByte und brauchen weniger Strom (in Summe).

Bei sehr großen Festplatten dauert aber ein eventuelles resilvern sehr lange, ein RAIDZ1 ist in der Zeit nicht geschützt, daher empfiehlt sich da irgendwann ein RAIDZ2, bei dem dann natürlich eine zusätzlich Festplatte benötigt wird.

Hängt natürlich auch davon ab, ob man die gewünschte Größe an Datenspeicher erreicht.

Theoretisch könnte man zum booten auch eine USB-SDD nehmen. USB Sticks nicht, die geben aufgrund der hohen Schreibbelastung relativ schnell den Geist auf.
Ist aber eher die Notfall-Lösung, wenn es wirklich nicht anders geht.

3

Nö, wenn man die richtigen nimmt, dann nicht. Ich benutze seit Jahren und an verschiedenen Systemen diese hier und hatte noch keine Ausfälle. Schnell genug für ein Bootdevices sind sie auch, schließlich steht nachher alles im RAM.

Heutzutage heizt man eigentlich nicht mehr mit dem Computer :laughing:

Ich schrieb das hier schon mehrmals - ich wundere mich immer wieder, was für Hardwareorgien oft für ein Home- oder Homeoffice-NAS veranstaltet werden und darin dann noch eine technische Herausforderung gesehen wird. Diese liegt eigentlich woanders, nämlich darin, so ein Teil möglichst klein, leise und energiesparend zu bauen - dass so etwas geht, hatte ich hier schon gezeigt. Natürlich eignet sich so ein Teil dann nicht für Videoschnitt, aber als reines Datengrab für die ganze Familie ist es mit allen drum und dran völlig ausreichend. Dies ist jedenfalls meine Meinung und Erfahrung.

4

Danke für die Antwort.

Ja, prinzipiell schon noch preislich okay aber für das mainboard alleine möchten diverse händler mehr als ich für die andere Hardware (also MoBo, CPU und RAM) zahlen würde.

Netzteil werde ich größer dimmensionieren!

Okay, dann wird es eine einzelne 32 oder 64Gb optane ssd zum booten.

Ich plane ein RAIDZ2 mit 6 mal 4TB. Das is in Relation wahrscheinlich nicht riesig aber bisher bin ich ja mit 8TB netto (5 x 3TD Raid6) ausgekommen und kann so (Wenn ich mich nicht verrechnet habe) mein Netzwerkspeicher verdoppeln.

Den Cache lasse ich dann entfallen. Neben privaten Daten ist der einzig kontinuierliche Schreibjob einmal in 24h weniger als 1TB backup zu schreiben.

5

Auch dir danke.

Ja, da gebe ich dir recht. Ich hoffe ich komme irgendwo unter 50W im idle raus, dann hätte der Eigenbauserver die QNAP geschlagen.

6

Mit 6 St. Festplatten? Niemals :blush: Das Stück braucht da ca. 5-8 W im Leerlauf und unter Last dann gern auch mal deutlich über 10 W (unter ZFS rödeln die immer irgendwie rum) und das sind nur die Platten.

7

Hier mal eine Stichprobe WD Red Pro bei Alternate:
4TB 139€ 34,75€/TB
6TB 202€ 33,67€/TB
8TB 228€ 28,50€/TB
10TB 326€ 32,60€/TB
12TB 349€ 29,08€/TB

Das Optimum liegt hier gerade bei 8TB. Mal so als Anhaltspunkt.

8

Danke, wirklich ein guter Anhaltspunkt.

Dann werden es wohl 8tb Platten.

Wenn ich den Stromverbrauch betrachte und Z2 nutzen möchte sollte ich aber trotzdem 6 Platten verbauen oder?

9

Ja.

Und noch ein kleiner Preistipp: Toshiba N300

Die haben alles, was man so braucht

  • 24*7
  • NAS-tauglich bis 8 Bays
  • CMR
  • NCQ
  • 7200rpm/4ms
    sind aber deutlich günstiger als WD Pro (184€ für die 8TB N300 vs 228€ für die 8TB WD Pro) bei Alternate.

Und für die Kalkulation: etwa 5W Leistungsaufnahme idle, 8W aktiv pro Festplatte laut Datenblatt. Das bleibt auch weitgehend konstant über die Kapazität, die 22TB Version aus dieser Baureihe braucht nahezu das gleiche wie die 4TB Version.

10

Super! Danke für die Infos und Tipps. Dann werden es wohl N300 HDDs.

11

Ein Sache die mich noch grundlegend verwirrt, wie finde ich heraus welche wieviele nvme ich in welcher pci karte verbauen kann?

Das ganze Thema um die PCI Bifurcation verwirrt mich.

12

Schau ins BIOS nach den Bifurcation Options zu den jeweiligen Slots. Denke dran, dass Deine PCIe Slots zwar mechanisch x16 sein können, elektrisch aber nur x8.

1 Like
13

Habe immer etwas mitgelesen. Was bisher nicht erwähnt wurde, oder habe ich das übersehen?
Das SuperMicro X11SSL-F hat 2 PCIe3 x8 -Slots. Da kannst du bei Bedarf noch einen HBA nachrüsten. Bringt dann noch mal 8 SATA-Anschlüsse. Einen bereits auf IT-Mode geflashten HBA bekommst du samt Anschlusskabeln für ca. 85,- (T)Euro

Denke mal darüber nach, was du mit dem NAS anstellen willst. Wenn du Videos schneiden etc. willst, geht das notfalls auch lokal auf dem PC. Einige Videos zwecks Bearbeitung hin und her kopieren könnte unterm Strich günstiger sein als teure und energiefressende 10GB-Hardware. Außer du machst das gewerblich bzw. hauptberuflich. Das wäre für mich ein Grund für 10GB. Dann aber vermutlich auch mit entsprechend leistungsfähigerer (und teurer) Hardware.
Nebenbei - mit 2,5 GB bekommst du netto gute 300MByte/Sec. übers LAN. Das macht nur Sinn, wenn du klassiche Platten als Striping betreibst. Ansonsten ist bei Festplatten ohnehin bei max. etwa 200MByte Schreiben/Lesen (in den Randbereichen) Schluss.

14

ja, sobald das board bei mir ist schaue ich mir das natürlich alles an. Ich hab mir jetzt für den start einen 64GB USB stick gekauft (den von @bic empfohlenen).

Man kann ja später die Pools bzw. die Einstellungen bei einer evtl. Neuinstallation wieder importieren (wenn ich das richtig verstanden habe).

15

Das klingt auch interessant. Wo finde ich denn diese vorgeflashten HBAs? Wenn ich dann Platten kaufe müssen das nicht SATA sondern SAS SSDs sein oder?

so könnte ich ja auch ziemlich einfach 1-x 2.5" SSDs nachrüsten.

10G Netzwerk verschiebe ich erstmal, bei der Schreibrate lohnt sich wirklich nur 2.5G bisher. Ich denke ich versuche mich mal im CAT7 selbst crimpen und werde dann 2 Unifi Flex Mini kaufen. Die sprengen nicht die Bank.

16

So, bei Dir siehst das wohl so aus:

Da ist ein PCIe Packet Switch drauf, und deswegen ist das auch so teuer. Bifurcation ist damit nicht mehr erforderlich, das geht immer.

Da.

Und SAS COntroller können auch immer SATA-Platten ansteuern, aber SAS-Platten erfordern immer SAS-Controller.

Ähm … DAS wird von ixSystems heutzutage grundsätzlich nicht mehr empfohlen. Zum Testen noch ok, aber nicht mehr für den Dauerbetrieb.

1 Like
17

Danke für die Links.

150€ für den nvme adapter ist teuer, das stimmt. Allerdings bin ich da ja vollkommen frei welche NVME ich verbaue oder? Allerdings wenn die eine PCI 8x lange gesplittet wird von dem Adapter macht es ja keinen Sinn mehr als (4x) Gen2 nvme ssds zu verbauen oder?

Zum LSI Controller: bietet das einen Vorteil zu der PCI Karte? Und sollte ich dann eher SAS oder SATA SSDs anschließen? Wieviele Platten gehen überhaupt an den Controller? In der Beschreibung steht “2 Port miniSAS SFF-8643 - max 8 SATA / SAS Laufwerke intern”
dh es sind hinten an der karte 8 bzw 2 “anschlussbuchsen”?

Entschuldigt die vermeintlich dummen Fragen…

18

Das ist hier eine andere Karte mit einem älteren SFF-Anschlusstyp, aber man sieht es da ganz gut drauf.

image
image609×576 88.6 KB

Ganz rechts auf der Karte sind die beiden Anschlüsse, und an jeden davon kann man 4 Laufwerte - hier SATA - über ein Kabel anschließen.

Vorteil: 8 Laufwerke, aber “nur” SAS oder SATA HDDs oder SATA SSD.

Mit der anderen Karte könnte man z.B. einen schnellen NVME-mirror für Apps einrichten, aber eben nur 4 Laufwerke.

Je nach Gehäuse sollte man auch noch einen kleinen Lüfter an dem Kühlkörper der LSI-Karte befestigen.

19

Doch. Zum einen aus Kapazitätsgründen. Zum anderen ist die Aufteilung nicht statisch, sondern das funktioniert wie bei einem Ethernet-Switch, dass jedes Datenpaket einzeln mit der zur Verfügung gehenden Bandbreite weitergeroutet wird.
Und diese Karte kann nur M.2 Typ M (PCIe NVME) ansteuern. Das ist das schnellste Interface. M.,2 Typ B SSDs (SATA) passen da nicht rein, dafür gibts andere Karten.

SAS ist für Dich zu teuer, das lohnt nicht.
Diese Karte hat zwei Vierkanal-Anschlüsse. Es gibt auch welche mit vier dieser Anschlüsse. Da gibt es dann passende Kabel für vier Festplatten. Wenn Du ein fertiges Rackmount-System kaufst, dann hat das 12, 24 oder 36 Einbauschächte, und auf den Backplanes sind SAS Expander-Chips drauf, die das dann routen. Denke daran, dass SAS viel schneller ist als jede mechanische Platte.

Diese Karte hat einen Kühlkörper. Nicht ohne Grund. Wenn Dein Mainboard genug SATA-Ports hast, dann benutzt Du die auch. Ist billiger und braucht weniger Energie.

20

Hätte ich jetzt auch gesagt, und mit SATA ist man im Heimbereich auch flexibler wenn man die HDD woanders einsetzten möchte.

Bin aber z.B hier auf neue 4TB SAS HDDS für 59 Euro gestoßen.

Ich suche immer noch den Haken, wie z.B. ein kleines refurbished irgendwo im Text, habe aber bisher nichts gefunden?!