Der AWS Client S3-Befehl mv ist langsam

1064
Tejas Jayasheel

Ich verwende aws cli, um die Dateien in S3 im selben Eimer zu verschieben. Soweit ich weiß, behält AWS S3 die Ordnerstruktur nicht bei. Es speichert den gesamten Pfad als Schlüssel zur Datei und zeigt ihn in der Ordnerstruktur in der Konsole an.

Nun ist meine Frage, wenn ich die Datei verschieben möchte, wird der Dateischlüssel grundsätzlich umbenannt. Der folgende Befehl zeigt jedoch die Übertragung.

aws s3 mv s3://bucket1/stage1/part1/$i/stage1.prime s3://bucket1/stage1/$i/part1/stage1.prime

Das Terminal wird ausgegeben

Completed 2.1 GiB/4.2 GiB (86.4 MiB/s) with 1 file(s) remaining
1
Technisch gesehen wird beim Umbenennen ("Verschieben") eines Objekts das Objekt tatsächlich in den neuen Schlüssel kopiert und das alte Objekt gelöscht. Die Kopieraktion sollte jedoch in S3 enthalten sein. Können Sie `--debug` verwenden und die gesendeten Anforderungen erfassen? Wenn Sie "x-amz-copy-source-range" -Header sehen, führt das cli möglicherweise nur eine intern-zu-s3-Multipart-Kopie aus und meldet lediglich den Status dieser internen Kopieraktionen für Fortschrittsberichte. Ich glaube, `aws s3 mv ... --debug 2>> (tee somelogfilename.txt> & 2)` sollte das Debugging zur leichteren Überprüfung in eine Datei aufnehmen. Michael - sqlbot vor 7 Jahren 1

0 Antworten auf die Frage

Verwandte Probleme