Ist Amazon Glacier für die Archivierung von digitalen Medieninhalten geeignet?

513
Anup Nair

Hintergrund: Ein Content-Production-Team fotografiert und zeichnet Inhalte in digitalen Medienformaten auf. Dies kann eine Mischung aus rohen Spuren, konvertierten Videos und Bildern sein.

Diese Inhalte werden in einem Freigabeordner (Linux Samba) gespeichert. Es handelt sich um 21 TB Speicher, der fast vollständig ausgelastet ist. Ich würde es vorziehen, wenn dieses Content-Team die Daten neu organisiert und löscht. Ich übersehe das Bedürfnis nach Disziplin und werde gebeten, einfach zu archivieren. Das macht Sinn - wenn sich die Anzahl der Jahre erhöht, wird der Speicherplatz geringer, unabhängig davon, wie viel Disziplin eingehalten wird.

Wir hatten die Archivierung mit Bandlaufwerken unter der älteren Führung durchgeführt. Eine neue Führung hat diesen Prozess eingestellt. Sie haben die Archivierung älterer Inhalte für Amazon Glacier empfohlen.

Nun könnte die Inhaltsgröße als Archiv etwa 2 TB betragen. Möglicherweise müssen Sie einen alten Inhalt herausziehen. Wie oft? - Das wissen wir jetzt noch nicht.

Ungeachtet der Bandbreite, die Amazon bietet, kann die Leitung, die ich habe, maximal 40 MBit / s erreichen. Außerdem werde ich gebeten, die Geschwindigkeit auf bestimmte Weise zu begrenzen, damit andere Benutzer derselben Internetverbindung von der Übertragung nicht betroffen sind.

Welche Überlegungen sollte ich berücksichtigen, um zu verstehen, ob Glacier für eine solche Aufgabe geeignet ist.

Gibt es auch ein BASH-Befehlszeilentool, das 2- TB- Archive in das Gletscherkästchen verschieben kann?

1
"Ist Glacier daher eine ideale Option?" - Dies ist eine Frage, die unsere Meinung sucht und hier nicht thematisiert wird. Sie wissen, dass Sie zahlen, um die Daten in beide Richtungen zu übertragen, oder? Es gibt billigere Lösungen als Gletscher. Ramhound vor 8 Jahren 0
Auch die negative Seite zu Glacier und anderen ähnlichen "Cloud" -Lösungen? Sie haben wirklich keine Ahnung, wie langsam eine „schnelle“ Internetverbindung ist, bis Sie Tonnen von großen Mediendateien auf einen solchen Remote-Server übertragen müssen. JakeGould vor 8 Jahren 1
Ich stimme der Beurteilung von @ Ramhound zu, wenn man das Wort "ideal" in der Frage verwendet. Meine Antwort beruhte auf einer lockereren Interpretation der Frage als "ist Glacier * angemessen *", die ich nicht als eine subjektiv empfundene, meinungsbasierte Frage sehe, und scheint im Kontext der eigentliche Kern des Seins zu sein fragte. Außerdem können Sie mit [Amazon Snowball] (https://aws.amazon.com/blogs/aws/aws/aws-importexport-snowball-transfer-1-petabyte-per) bis zu 50 TB mit der "Bandbreite" eines FedEx-Lastwagens laden -Wochen-Gebrauch-Amazon-eigene-Speichergeräte /). Michael - sqlbot vor 8 Jahren 1
Um meinen ursprünglichen Kommentar zu erweitern. Es gibt Unternehmen, die darauf spezialisiert sind, dass Sie Ihre Archive hochladen und herunterladen können. Sie zahlen etwas mehr, aber Glacier ist keine ideale Lösung für Daten, auf die Sie zugreifen möchten. Sie bieten auch keine Möglichkeit, Ihnen 50 TB Daten zu senden, wie dies bei anderen Diensten der Fall ist. Ramhound vor 8 Jahren 0
Vielen Dank @ Michael-sqlbot. Ihre Antwort hat mir eine Richtung gegeben, um die Machbarkeit zu studieren. Es hilft, ein Bild von Kosten und Zeit zu präsentieren. Anup Nair vor 8 Jahren 0
@ JakeGould und andere, die es für meinungsgetrieben halten. Ich habe die Frage bearbeitet. Bitte prüfen und wiederherstellen, falls zutreffend. Anup Nair vor 8 Jahren 0

2 Antworten auf die Frage

5
Michael - sqlbot

Glacier wurde für Daten konzipiert und berechnet, von denen Sie nicht erwarten, dass Sie sie wahrscheinlich benötigen.

Glacier wird mit der Erwartung entworfen, dass Abfragen selten und ungewöhnlich sind und Daten für längere Zeiträume gespeichert werden.

https://aws.amazon.com/glacier/pricing/

Ich habe dort momentan mehrere Dutzend Terabyte gespeichert, und ich empfehle es sehr - soweit angebracht -, so dass meine Beobachtungen nicht als negativ betrachtet werden sollten, sondern nur um den Punkt hervorzuheben, den Sie benötigen, um sicher zu sein, dass Sie das Produkt und dessen beabsichtigte verstehen Anwendung.

Die native Glacier-Schnittstelle ist sehr niedrig. Es verhält sich ziemlich wie ein Sicherungsband oder ein großes Tarball. Sie legen ein "Archiv" in einen "Tresor" und es ist eine Art Blackbox. Sie müssen Aufzeichnungen darüber aufbewahren, was Sie in jedem Archiv gespeichert haben, denn Glacier kann es Ihnen nicht sagen, genauso wenig wie der Blick auf ein Backup-Band.

Die Alternative - und ich würde behaupten -, dass Glacier weitaus besser ist, ist durch S3. Laden Sie Ihre Dateien in einen S3-Bucket hoch, und legen Sie die Lebenszyklus-Richtlinie des Bucket so fest, dass die Dateien nach ein paar Tagen in Glacier archiviert werden. Bei diesem Modell verbirgt S3 die Komplexität der rohen Glacier-API, und die einzelnen Dateien und ihre Metadaten bleiben über die S3-Konsole und die API sichtbar. Die Kosten sind gleich.

Verstehen Sie jedoch, dass Sie mit Glacier (ob durch S3 oder nicht) eine Gebühr für die Wiederherstellung von mehr als einer kleinen Datenmenge gleichzeitig entrichten.

Knirschen Sie die Zahlen und Sie werden feststellen, dass die kostenlose Genehmigung für Wiederherstellungen potenziell teuer ist, bis Sie viele Daten gespeichert haben.

Angenommen, ich habe 180 TB / 180000 GB gespeichert. Ich kann nur 50 GB in einem 4-Stunden-Fenster wiederherstellen, wenn ich keine zusätzlichen Gebühren für den Datenabruf zahlen möchte. 

180000 × 0.05 ÷ 30 ÷ 6 = 50

180000 GB, 5% Monatszulage, 30 Tage / Nein, 6 Perioden von 4 Stunden pro Tag. Dies funktioniert sehr gut für mich, da meine Dateien normalerweise <20 GB sind und es sehr selten ist, dass ich sie brauche. Wenn ich dies tue, ist es normalerweise für die Forschung, die nicht dringend ist, damit ich die Genesung ausbreiten kann. Bei einem kleineren Gesamtspeicher, beispielsweise 18 TB, würde meine kostenlose Aufwandsentschädigung alle 4 Stunden 5 GB betragen. Betrachten Sie das Wiederherstellungs-Preismodell sorgfältig, wie ich sage.

Möglicherweise besser geeignet ist die relativ neue Speicherklasse "Infrequent Access" von S3. $ 0.0125 / GB / Monat ist immer noch einigermaßen vernünftig und obwohl für Downloads 0,01 USD / GB erhoben werden, sind keine erheblichen Kostensteigerungen erforderlich, wenn Sie viele Daten wiederherstellen müssen. Es gibt keine Wartezeiten von 4 Stunden, wie bei Glacier stellt wieder her.

https://aws.amazon.com/blogs/aws/aws-storage-update-new-lower-cost-s3-storage-option-glacier-price-reduction/

Dies ist eine gute Antwort, die den subjektiven Charakter der Frage selbst vermeidet. Es zeigt, wofür Glacier verwendet wird, liefert eine faire Bewertung des Services und vermittelt das Restaurierungsdilemma. Ramhound vor 8 Jahren 2
0
N. Greene

Ich würde beginnen mit diesem ersten, eine Schätzung zu bekommen, was Ihre Preisgestaltung sein. Der Basispreis beträgt 0,007 Dollar / gb / Monat ohne Transfergebühren.

Dann schauen Sie sich an, wie Sie Ihre Daten von Glacier beziehen. Auftragsanforderungen können mehrere Stunden dauern, und die Daten sind nur für eine bestimmte Zeit verfügbar.

AWS-Gletscher-FAQ

Ich habe hier etwas gefunden, als ich nach "Glacier Data Bash" gesucht habe.

Beispielskript zum Hochladen auf Glacier / S3

Ich verwende S3 für die Off-Site-Sicherung meines Clients (über 100). Ich hatte mir den Gletscher angesehen, da er billiger war, aber die Zeit für das Abrufen von Daten konnte ich nicht bewältigen. Wenn eine meiner Websites ein Problem hat und ich eine Datei aus S3 herausholen muss, brauche ich sie jetzt, nicht in 4 Stunden.

Beachten Sie, dass die Speicherrate pro Gigabyte pro Monat tatsächlich 0,007 $ beträgt - 0,007 * Dollar * pro Monat, nicht 0,007 * Cents * (der Gletscherpreis beträgt 0,7 Cents ... 0,007 Cents wären 0,00007 $). Michael - sqlbot vor 8 Jahren 0
Meine schlechte .. meine Antwort. Danke, dass du das bemerkt hast. N. Greene vor 8 Jahren 0

Verwandte Probleme