Wie können große Dateien in Stücken heruntergeladen werden

1326
aidn

Ich versuche, eine 40-GB-Datei herunterzuladen und direkt auf meinem USB-Flash-Laufwerk zu speichern, da auf meiner lokalen Festplatte nicht genügend Speicherplatz für die Datei zur Verfügung steht.

Ich habe auch eine Beschränkung auf 10 GB pro Tag für meine Internetverbindung. Mein USB-Anschluss ist FAT32 und kann daher keine Dateien verarbeiten, die größer als 4 GB sind.

Gibt es eine Möglichkeit, ein paar 4-GB-Blöcke dieser Datei jeden Tag herunterzuladen und sie dann zusammenzufügen, wenn sie alle heruntergeladen wurden?

Ich verwende Windows 10 und habe auch einen Live-USB-Schlüssel von Kali Linux.

6
Sie haben nicht gesagt, welches Protokoll - FTP? HTTP? BitTorrent? Rsync? Ohne diese Informationen ist es schwierig, eine gute Antwort zu geben. Toby Speight vor 8 Jahren 3

1 Antwort auf die Frage

5
dirkt

Wenn die Site, von der Sie heruntergeladen haben, wiederaufgenommene Downloads unterstützt, können Sie entweder curldie --continue-atOption oder wgetdie --start-posOption verwenden.

Es gibt zwar eine --max-filesizeOption für curl, die Datei wird jedoch nicht heruntergeladen.

So können Sie den Download entweder unterbrechen, wenn die Datei groß genug ist, oder ein zusätzliches Programm wie pv(Sie müssen dieses Paket wahrscheinlich installieren).

Beispiel: Angenommen, "Dezimal" GB ist auf der sicheren Seite, 4 GB = 4000000000, verwenden Sie z

curl --continue-at 8000000000 http://your/file/url | pv -S --size 4000000000 > your-file-name 

um das dritte Stück herunterzuladen. (Ich hoffe, Curl behandelt große Zahlen richtig, ich habe nur mit kleinen Zahlen gecheckt).

Beide sind Standard-Linux-Programme. Ich weiß nicht, ob sie auch für Windows verfügbar sind.

Kannst du mir ein Beispiel geben (curl), weil ich neu in Linux bin aidn vor 8 Jahren 0
+1 Obwohl der Teil "Zusammenfügen, wenn sie alle heruntergeladen sind" trivial ist, wenn Sie Erfahrung mit Linux haben, würde ich einen Hinweis auf zukünftige Neulinge geben. Der Befehl wäre "cat chunk1 chunk2 chunk3…> / mnt / another-filesystem / Dateiname". Kamil Maciorowski vor 7 Jahren 0