Web-Download-Manager, der nur neue und geänderte Dateien kennt

330
matt wilkie

Ich bin auf der Suche nach einem Web-Download-Manager, der intelligent sein kann und nur neue oder geänderte Dateigrößen überschreiben oder umbenennen kann. Ein paar Mal im Jahr muss ich lokale Kopien von mehreren zehn bis hundert Gigabytes an Dateien auffrischen.

Bis heute habe ich FileZilla und WinSCP verwendet, die beide die Möglichkeit haben, den Datums- / Zeitstempel der lokalen Datei und die Dateigröße mit der Kopie des Servers zu vergleichen und nur die Unterschiede herunterzuladen. Eine sehr nützliche Funktion, die sowohl für mich als auch für die Hosts Stunden und Stunden und eine Bandbreite von 100 GB GB einspart.

Ftp funktioniert immer noch, jedoch drosseln die Hosts ftp auf 4 Verbindungen und max. Kombinierte Geschwindigkeit von ~ 1-2 MB / s. Die gleiche Site über http ist auf 8 Verbindungen und ~ 3-4 MB / s kombinierte Geschwindigkeit beschränkt. Mit ftp muss ich den Job so einstellen, dass er über Nacht ausgeführt wird, um zu sehen, wie es am Morgen lief (und möglicherweise einiges wiederholen). Mit http kann ich den Job über Mittag laufen lassen, auch wenn blind alle Dateien überschrieben werden, statt nur geänderte Dateien, und auf Fehler oder Wiederherstellungen sofort reagieren.

Gibt es eine Möglichkeit, nur neue geänderte Dateien aus einer http-Quelle herunterzuladen?

Windows bevorzugt, aber ich kann eine Linux-VM hochfahren, wenn dies der beste Kurs ist.

Dies ist in einer Unternehmenseinstellung, die einen Firewall-Regelsatz "Keine Torrents" zulässt und erzwingt. Schade, dies ist ein perfektes Szenario für eine Anwendung von Peer-to-Peer-Technologie außerhalb von Warez.

Eine Quelle zum Testen mit: http://ftp2.cits.rncan.gc.ca/pub/geobase/official/nhn_rhn/

FileZilla überschreibt nur den neuen und geänderten Größen-Dialog

1

1 Antwort auf die Frage

2
snorris

Wie wäre es mit so etwas?

wget -Nr -A.zip http://ftp2.cits.rncan.gc.ca/pub/geobase/official/nhn_rhn/gdb_en/01
@mattwilkie Hm, fairer Punkt. Nic Hartley vor 8 Jahren 0
Ich habe es vor ein paar Jahren mit wget versucht, stieß jedoch auf Probleme mit dem Archivieren von Archiven. Am besten erinnere ich mich daran, dass es darum ging, eine andere (größere) Dateigröße zu sehen und dann den neuen Inhalt an die alte Datei anzuhängen, anstatt das Ganze zu überschreiben. Ich war nicht bereit, darauf zu verzichten, auf den "Resume unvollständig" -Download zu verzichten, da dies häufig zu Verbindungsabbrüchen führte. Es könnte jedoch Zeit sein, jetzt erneut zu besuchen. matt wilkie vor 8 Jahren 0
Hier ist die neueste (meiner Meinung nach) Version meiner Wget-Versuche. Möglicherweise waren meine Probleme auf die falsche Kombination von Befehlszeilenoptionen (?) Https://gist.github.com/maphew/0f2f1b4f3659440bae82 zurückzuführen matt wilkie vor 8 Jahren 0
Ich war angenehm überrascht, dass es funktionierte - ich war zuvor mit der rekursiven Option frustriert. Ich denke, der Schlüssel ist, dass der Geobase-Host die Indizierung zulässt, ansonsten müssen Sie den Pfad zu allen gewünschten Dateien kennen. snorris vor 8 Jahren 0
Sieht so aus, als würde die Option --continue immer noch Probleme haben. Sie haben möglicherweise kein Glück, wenn Sie den Wget-Job nicht laufen lassen können, während Ihre Verbindung getrennt wird. snorris vor 8 Jahren 0

Verwandte Probleme