Was ist der sicherste und kostengünstigste Weg, um 10 Terabyte Daten zu speichern?

Dies setzt voraus, dass Sie sich für ein Archiv entscheiden und nicht für regelmäßige Sicherungen oder Live-Daten.

Entscheiden Sie sich für ein Set SATA-Festplatten (1 oder 2 TB) und ein paar Extras. Kopieren Sie Ihre Daten auf die Datenträger. Verwenden Sie QuickPar (oder einen Archivierer, der Paritätsdatenträger unterstützt), um weitere Paritätsdateien zu erstellen. Verteilen Sie Paritätsdateien auf Ihre Festplatten.

Über die Paritätsinformationen können Sie Dateien rekonstruieren, wenn noch genügend Paritätsdateien vorhanden sind. Wenn also ein Datenträger stirbt, andere Datenträger jedoch mit Paritätsinformationen funktionieren, können Sie die Originaldateien mithilfe der Paritätsdateien rekonstruieren.

Um mehr Redundanz zu erreichen, machen Sie das alles zweimal und speichern Sie es an einem anderen Ort.

Wenn Sie wirklich paranoid sind, sollten Sie an jedem Standort einen PCI- und PCI-Express-SATA-Controller speichern.

Edit: Heck, wenn es bei Paranoia um alles geht, dann machen Sie alles und speichern Sie einen PC mit Gigabit-Ethernet an jedem Standort, der die Festplatten lesen kann!

Die von uns verwendeten LTO4-Laufwerke können bis zu 800 GB pro Band erreichen. Der Nachteil sind die Kosten der Laufwerke selbst. Wenn Sie sich bei Blu-Ray-Discs mit den 5.000 US-Dollar auskennen, werden Ihnen die Kosten für LTO4 nicht gefallen. Auf der anderen Seite sind die Cartages selbst pro GB ziemlich billig, so dass Sie viele Exemplare behalten können. Diese Bänder haben eine gute Haltbarkeit. Sie müssen jedoch vor dem Wechseln des Bandlaufwerks planen, sie auf neue Medien zu verschieben. Wie Sie beschreiben, wie Sie diesen Speicher verwenden, glaube ich nicht, dass das Band gut passt. Es sei denn, dies ist eine Sicherungslösung anstelle einer Archivierungslösung . Verschiedene probleme.

Möglicherweise möchten Sie einen Cloud-basierten Anbieter von Backups in Betracht ziehen, wenn Ihre tägliche Netzänderung klein genug ist. Dies hängt natürlich davon ab, wie stark Ihre Internetverbindung ist, und die Wiederherstellung davon kann ebenso schmerzhaft sein. Diese Dienste sind ziemlich neu, daher ist es unbekannt, wie sie mit dem Insolvenzproblem Ihrer Daten umgehen. Was passiert damit, wenn sie aus dem Geschäft gehen?

Lokaler Festplattenspeicher ist definitiv ein Weg. Ein Laufwerksgehäuse mit einfach auszutauschenden Laufwerken ist wahrscheinlich die beste Wahl, wenn Sie die Kosteneinschränkungen berücksichtigen. Wenn Sie mit diesen Daten offline leben können, sollten Sie es tun. Festplatten sind billig und Festplattengehäuse sind billiger als Bandlaufwerke. Weniger bewegliche Teile.

Ich gehe davon aus, dass Sie dies für das Archiv benötigen, nicht für die aktive Verwendung in einer Videorolle. Wenn ja, ist das ein anderes Speicherproblem.

Haben Sie in Ihrer NAS-Untersuchung die selbstverwalteten Speichergeräte von DroboPro oder DroboElite untersucht ?

Überlegen Sie sich, was die Kosten wären, wenn Sie Ihr gesamtes Filmmaterial und Ihr Budget entsprechend verlieren würden;)

Acht bis zehn 2-TB-Festplatten; mach zwei sätze. Wie bereits erwähnt, getrennt aufbewahren ...

Ich würde mich von Band fernhalten, da es viel empfindlicher auf die Bedingungen reagiert, auf denen es gespeichert ist, als auf Festplatten. In fünf Jahren sind die Chancen gut, dass Sie immer noch ein SATA-Laufwerk an etwas anschließen können, aber möglicherweise können Sie nicht auf ein Bandlaufwerk zugreifen, das Ihre Bänder lesen kann.

Optisch wäre die Langzeitstabilität am besten, aber wie Sie sagen, sind die Kosten und die Logistik etwas unpraktisch.

Haben Sie über gehostete Dienste nachgedacht? Ich bin nicht sicher, wie der Preis abwägt, aber Sie möchten vielleicht einen Hosting-Service in Betracht ziehen, der Massenspeicher verkauft. Vielleicht AWS ?

Ich würde empfehlen, eine Art NAS / RAID für Live-Dateien zu haben, mit denen Sie häufig arbeiten. Wenn Sie Laufwerke mit großer Kapazität verwenden, sollten Sie sich für ein RAID-6 oder ähnliches entscheiden. Bei einem RAID-5 + -Hilfsprodukt können Sie zwei Festplatten ausfallen lassen, bevor Ihr RAID abgebaut wird, im Gegensatz zur Hot-Spare-Konfiguration Ihr 2. zusätzliches Laufwerk hat auch eine Parität, so dass der Schlachtzug bei einem Ausfall nicht die Parität zum Ersatzlaufwerk wiederherstellen muss. Mit den Laufwerken, die größer werden, besteht eine größere Chance, dass ein Laufwerk während eines Wiederaufbaus versagt. Daher ist es so gut wie möglich, so viel Live-Parität wie möglich zu haben.

Außerdem würde ich empfehlen, Festplatten wie Bandlaufwerke zu verwenden. Heutzutage kann man sogar Festplattengehäuse (auch diese ) kaufen, die es Ihnen ermöglichen, Laufwerke zur Archivierung abzulegen. Sie können Dateien auf dem RAID sichern und dann zusätzliche Archivierungskopien auf Laufwerken erstellen, um sie abzulegen.

Einige Videoproduktionshäuser wie das Pixel Corps verwenden ähnliche Einstellungen.

Ich würde außerdem das Speichern von Dateien an mehreren Orten (nicht unter einem Dach) empfehlen. Folgen Sie auf jeden Fall dem Mantra "Wenn es nicht an mindestens zwei Stellen geschrieben wurde, haben Sie es noch nicht gespeichert". RAID gilt auch nicht als Sicherung an und für sich.

Ich gehe davon aus, dass dies hauptsächlich für die Offline-Sicherung von Backups gilt: leicht erstellt und wiederhergestellt, aber im täglichen Betrieb nicht stark beansprucht.

2TB-Laufwerke sind heutzutage für etwa 140 US-Dollar zu haben. Für 10 TB, 5 Laufwerke, 700 US-Dollar. Stellen Sie sich etwa 400 Dollar zusammen, um einen Server mit geringem Stromverbrauch zu bauen, der Debian oder Ubuntu oder eine andere Linux-Variante ausführt. Wenn Sie ein System mit mehreren Netzwerkkarten erhalten, können Sie eine Verbindung herstellendie Netzwerkschnittstellen zusammen (möglicherweise benötigen Sie einen verwalteten Switch, der Trunking unterstützt) erhöhen die verfügbare Bandbreite des Servers und schützen vor Netzwerkkartenausfällen. Sie können den Speicher dann über Samba, NFS oder eine andere Methode für die Workstations verfügbar machen, die ihn verwenden müssen. Für dieses große Datenvolumen möchten Sie wahrscheinlich eine Art Redundanz, so dass Sie (wenn nicht eines dieser Laufwerke beißt) nicht auf Ihre Daten verzichten müssen. RAID5 ist hier aus verschiedenen Gründen keine gute Idee, aber RAID10 passt. Da auf dem Server Linux ausgeführt wird, können Sie das RAID-Array mit mdadm verwalten. Dazu müssen Sie die Anzahl der physischen Geräte verdoppeln, so dass Sie bis zu 10 Laufwerke haben. Gesamtkosten dieses Speicherservers:

Wenn Sie Ihre Daten wirklich lieben (wenn dies wirklich wichtige Produktionsdaten sind, sollten Sie!), Können Sie einen Duplikat-Server erstellen und die Sicherung sichern. Sie können dies mit einer Rsync-Crontab tun, die möglicherweise fürchterlich langsam ist, einer Netcat / Tar-Pipe- Lösung, die schneller sein könnte, oder die RAID-Geräte als Basis für ein drbd- Gerät einrichten . Durch die automatische Duplizierung des Speichers auf beiden Maschinen werden (im Wesentlichen) redundante Sicherungen der Daten gewährleistet. Sie können noch schicker werden und ein Heartbeat- Failover-System einrichten, um die Verfügbarkeit Ihres Datenvolumens zu gewährleisten.

Buffalo TeraStation III 8 TB Netzwerkspeicher - 1.085,56 £

Amazon.de-Link

Ich habe eine Terastation-1-TB-Version, die ich auf 4 TB hochgerüstet habe, sie funktioniert einwandfrei in RAID5. Sie könnten eine kleinere Version kaufen und diese selbst aktualisieren, um Geld zu sparen - oder mehrere Terastationen usw. kaufen.

Ich weiß nicht viel über Bandlaufwerke oder die Semantik des Speicherns von Daten auf Band, daher kann ich Ihnen dort nicht helfen. Angesichts der unerschwinglichen Kosten für die Verwendung von Bluray als Massensicherung würde ich bei einem NAS oder einzelnen Laufwerken bleiben.

Bei NAS / Raid ist jedoch zu beachten, dass sie zwar eine beträchtliche Menge an Informationen in einem einzigen virtuellen Laufwerk speichern können ... Sie müssen alle Laufwerke zusammenhalten, und RAID ist im Allgemeinen nicht besonders langfristig. " Backup-Lösung. Es besteht die Gefahr, dass mehr als ein Laufwerk verloren geht und das NAS-Gerät selbst verloren geht (und es ist selten gewährleistet, dass ein Ersatzgerät Daten von den Laufwerken lesen kann, selbst wenn es sich um ein "identisches" Gerät handelt.)

Angesichts der derzeit extrem günstigen Festplatten und ihrer allgemeinen Stabilität würde ich mich für einzelne Laufwerke entscheiden. Sie können problemlos 10 2-TB-Laufwerke für einen geringen Preis (vielleicht 1200 - 1500 US-Dollar) erwerben und zwei Sicherungssätze erstellen. Sie erhalten sowohl eine Offline-Sicherung als auch eine redundante Sicherung Ihrer Daten ohne die Risiken, die mit RAID oder einem NAS-Gerät verbunden sind. Einzelne Laufwerke bieten auch eine größere Kompatibilität, da SATA nicht in naher Zukunft irgendwohin kommen wird.

Wenn Sie wirklich sicherstellen möchten, dass Sie es nicht verlieren, möchten Sie mindestens zwei Archivierungsoptionen. Wahrscheinlich Band- und Festplattenlaufwerke. Das Erstellen einer einzigen Kopie ohne irgendeine Form von Redundanz ist nur eine weitere Möglichkeit, den Datenwürfel zu würfeln.