RAID-Konfiguration und Spezifikationen des Clusterspeicherservers (Sanity-Prüfung)

Wir planen den Kauf eines Clusters für wissenschaftliche Berechnungen. Derzeit stellen wir die Spezifikationen zusammen. Wir sind nicht wirklich sicher, wie die Spezifikationen des Speicherservers aussehen sollen .

Der Cluster selbst enthält ~ 200 Rechenknoten, die über ein Netzwerk mit niedriger Latenz (für parallele Berechnungen) miteinander verbunden sind, und wird von ca. 25 Benutzer.

Der Speicher wird ca. 200 TB nutzbarer Speicherplatz und werden für die Durchführung der Berechnungen verwendet (Rechenknoten haben keine Festplatten) und sollten nicht als Datensicherung dienen (dh wir benötigen keinen branchenüblichen Schutz vor Datenverlust).

Ich habe mir folgendes ausgedacht; Kommentare und Vorschläge werden sehr geschätzt.

Spezifikationen:

• ZFS-Technologie zum Erstellen eines einzelnen Datenträgers und zum Schutz vor Laufwerksausfällen
• Verwenden Sie das Multi-Pool-Setup des RAID-Z2- oder RAID-Z3-Setups mit einer Parität von 25%. Dies bedeutet 8 Festplatten pro RAID-Z2 oder 12 Festplatten pro RAID-Z3.
• eine Art Caching-Technologie, die SSDs verwendet (zur Erhöhung der E / A-Geschwindigkeit häufig verwendeter Dateien)
• 10 Gbit Newtork (oder sogar 100 Gbit wenn möglich)

Fragen und Hinweise:

• Wir beschäftigen uns mit der E / A-Geschwindigkeit. Mehrere (25+) Prozesse schreiben große Datenmengen in den Speicher
• Wir werden keine große Anzahl kleiner Dateien lesen / schreiben (dies ist nicht zulässig)
• Wir erwarten, dass Festplatten während der Speicherdauer (~ 5 Jahre) ausfallen, und wir möchten keine Daten verlieren, aber ein teilweiser Datenverlust während dieser Zeit (sagen wir einmal) ist akzeptabel - wie hoch ist die Wahrscheinlichkeit einer solchen Einrichtung?
• Wie viele Ersatzlaufwerke (bezogen auf die Gesamtzahl der Festplatten) sollten wir anfordern?
• Ich weiß nicht wirklich, welche Art von Caching-Technologie (falls vorhanden) verfügbar ist
• Die Cluster-Komponenten werden von Linux betrieben

Bearbeiten:

Beachten Sie, dass ich nicht nach Ratschlägen zu Hardwarespezifikationen suche. Meine Fragen beziehen sich hauptsächlich auf das Verhalten, das ich bei der Verwendung des angegebenen ZFS-Setups (RAID) erwarten sollte . Hardware-Spezifikationen sind hier nur zur Angabe der Größe meines Systems.