So laden Sie ein großes S3-Objekt von der Befehlszeile aus schneller als s3cmd

1701
Erik

Mit dem Befehl s3cmd können Sie Dateien aus S3 wie folgt herunterladen:

s3cmd get s3://my.private.bucket/some/location/hugefile.dat

Das kann jedoch eine Weile dauern, wenn die gespeicherten Dateien wirklich groß sind. Gibt es zu dem obigen Beispiel alternative Befehlszeilenlösungen, die diesen Prozess erheblich beschleunigen?

1
Bitte berechnen Sie die maximal mögliche Geschwindigkeit (gemäß Ihrem ISP oder Geschwindigkeitstest) und die Geschwindigkeit, die Sie jetzt erhalten. Daniel B vor 9 Jahren 0

1 Antwort auf die Frage

1
James Roth

s4cmd behauptet, Multi-Threaded-Operationen zu unterstützen.
Es ist ein Befehlszeilenprogramm für den Zugriff auf Amazon S3, das von s3cmd inspiriert wurde.

Es unterstützt die üblichen Befehle, die Sie zum Abrufen und Speichern von Dateien in S3 erwarten können: ls, put, get, cp, mv, sync, del, du.

Obwohl dieser Link die Frage beantworten kann, ist es besser, die wesentlichen Teile der Antwort hier aufzunehmen und den Link als Referenz bereitzustellen. Nur-Link-Antworten können ungültig werden, wenn sich die verknüpfte Seite ändert. DavidPostill vor 9 Jahren 0
Dies ist keine Link-only-Antwort. Ich biete eine alternative Befehlszeilenlösung und erkläre warum. Der Link muss nicht verstanden werden. James Roth vor 9 Jahren 0

Verwandte Probleme