Als Teil einer Sicherungslösung verwende ich s3cmd zum Übertragen von Dateien.
Ich habe vier verschiedene Jobs mit Verzeichnissen unterschiedlicher Größe und Dateien unterschiedlicher Größe.
Drei der Jobs laufen gut. Der letzte Job hängt jedoch an der Nachricht:
Retrieving list of remote files for <...> Und wenn ich sage, dass es hängt, meine ich, dass es nicht weiter geht. So stand es eine ganze Woche lang auf einer 100% stabilen Internetverbindung im Büro.
Nun ist das Verzeichnis, das es hochzuladen versucht, groß. Über 306 GB. Dies ist bei weitem der größte Job.
Ich habe einen Beitrag zu StackOverflow mit einem ähnlichen (nicht identischen) Problem gesehen, und die akzeptierte Antwort sagte, dass .s3cfg zu bearbeiten ist und ein größeres socket_timeout gesetzt wurde. Ich habe es von 10 auf 180 geändert, aber es hat keinen Unterschied gemacht.
Irgendeine Idee, was als nächstes probiert werden soll? Ich bin beim Googeln kurz gekommen.
Die Lösung für dieses Problem bestand für mich darin, s3cmd nicht mehr zu verwenden und stattdessen das aws-Tool zu verwenden.
Stattdessen s3cmd sync ...benutze ich jetzt aws s3 sync .... Das funktioniert wie ein Zauber. Ich wünschte, ich wäre nie über s3cmd gestolpert.
Wenn das Zielverzeichnis groß wird, nimmt die Zeit zum Abrufen der Liste der MD5- und Größendaten zu.
Für mich erledigen ähnlich große Backups diesen Schritt in weniger als zwanzig Minuten. Ich bemerke, dass ich die socket_timeout auf 300 gesetzt habe.
Sie können den md5-Scan jeder Datei im Ziel-Bucket auch vermeiden, indem Sie --no-check-md5 verwenden. Ich habe es jedoch nicht für nötig gehalten.