Übertragen Sie eine große Anzahl von Bildern (30 GB) von einem langsamen, alten Linux-Computer auf den virtuellen Server.

604
Ryan Gedwill

Ich muss 200.000 Bilder von einer wirklich alten Linux-Maschine in eine Windows-EC2-Instanz übertragen. Ich habe nicht viel Erfahrung mit Linux, also habe ich es nicht direkt mit FTP versucht, weil ich nicht glaube, dass wir die richtige Software haben. Wenn es sich um einen schnellen und einfachen Download handelt, bin ich offen für eine Lösung, aber diese Sache ist es wirklich langsam und nervig, besonders für einen Linux-Ausländer. Ich habe versucht, die Bilder auf ein USB-Laufwerk zu übertragen, um sie von einem anderen PC aus hochzuladen, aber sie wird eingefroren und stoppt nach etwa 1 GB. Was würden Sie vorschlagen, um dies am effektivsten zu erreichen?

1

3 Antworten auf die Frage

2
Overmind

Unabhängig von der verwendeten Methode zum Kopieren / Übertragen sollten Sie sie zuerst in ein Archiv packen. Dadurch wird sichergestellt, dass zwei Dinge passieren: Die neue Datei, die Sie übertragen möchten, ist "to-go" (im Vergleich zu vielen Dateien, die möglicherweise nicht lesbar sind) und die Übertragung selbst wird wesentlich reibungsloser ablaufen. Kleine Dateien sind für jede Art von Kopieren oder Übertragen schmerzhaft. Sobald Sie eine große Archivdatei haben, können Sie eine beliebige gültige Methode verwenden, einschließlich des oben genannten scp.

1
davidgo

Hier gibt es keine richtige Antwort - zum größten Teil benötigen Dateiübertragungen nicht viele Ressourcen außer der Bandbreite, daher ist die Geschwindigkeit der Maschine wahrscheinlich kein zu großes Geschäft.

Die Antwort hängt davon ab, welche Linux-Variante Sie verwenden und wie Sie eine Verbindung zwischen Client und Server herstellen. Die naheliegendste Lösung - wenn Sie ssh verwenden, ist rsync - Rsync kommt mit den meisten Distributionen oder wird trivial durch etwas wie "apt-get install rsync" oder "yum install rsync" hinzugefügt. Das Schöne an der Verwendung von rsync ist, dass der Befehl einfach ausgeführt wird, wenn der Download während des gesamten Vorgangs fehlschlägt, und er wird dort weitermachen, wo er aufgehört hat.

Wenn Rsync keine Option ist, wäre die nächste logische Lösung die Verwendung von scp. Um dies zu verwenden, würden Sie "scp -r serverip: / path / destpath" verwenden. Dies funktioniert solange der Server ssh hat.

Wenn dies nicht funktioniert, versuchen Sie es mit wget oder ncftp, um es über FTP herunterzuladen. FTP ist jedoch kein großartiges Protokoll.

0
Journeyman Geek

Wenn Sie das Problem erneut lesen, stellt sich heraus, dass sich die Lösung von dem unterscheidet, was ich ursprünglich vorgeschlagen hatte. Wir brauchen etwas plattformübergreifend, erledigen das Versenden von Dateien zuverlässig und sind kinderleicht.

Bittorrent-Synchronisierung sollte funktionieren. Der Linux-Client ist ein einfaches, einzelnes Binärprogramm mit einem eigenen Webui. Richten Sie dort eine Freigabe ein und laden Sie das Verzeichnis mit dem Windows-Client auf der anderen Seite herunter.

Da das zugrunde liegende Protokoll bitorrent ist, sollte es alle Probleme behandeln und recht ordentlich nach Fehlern suchen, und es ist praktisch keine Konfiguration erforderlich, außer das Erstellen der Freigaben.

Verwandte Probleme