Würde rsync eine sinnvolle Datenübertragung für komprimierte / verschlüsselte Dateien einsparen?

1305
qazwsx

Würde rsync eine sinnvolle Menge an Datenübertragung für die Synchronisierung sparen

1) zip-Dateien,

2) Mit ASCII gepanzerte GPG-Dateien und

3) Mathematica-MX-Dateien,

beziehungsweise ?

Ein typisches Szenario ist, dass ich bereits eine alte Kopie habe und die komprimierte und / oder verschlüsselte Datei NICHT die einzige zu synchronisierende Datei ist, dh es können unkomprimierte und unverschlüsselte Dateien vorhanden sein.

1
Sprechen Sie über den Fall, dass Sie bereits eine ältere Kopie dieser Dateien auf dem Remote-System haben? Oder ist das eine brandneue Kopie? Zoredache vor 12 Jahren 0
Es ist für den vorigen Fall. qazwsx vor 12 Jahren 0

2 Antworten auf die Frage

1
mikebabcock

In the case where you are rsync'ing only one file and that file is encrypted or compressed, the only bandwidth you would likely save is that of not needing to transfer it at all if unchanged.

However, if you had a directory full of ZIP or JPEG or GPG files, rsync still only transfers those files that have changed, and is a great way to easily transfer only new files.

Note: I find it useful to rsync the uncompressed data whenever possible, and then compress it for storage on both sides of the link if necessary. In this manner, you can save yourself the transfer bandwidth. ie:

mkdir /tmp/torsync cd /tmp/torsync unzip /home/me/somefile.zip rsync -avz . remote:/tmp/somefile ssh remote 'zip -r somefile.zip /tmp/somefile' 

YMMV of course.

OT: with its backup options, I find rsync useful even when it does not save bandwidth as it will create backup copies of replaced files, allowing me to retrieve historical copies easily.

Follow-up: this applies to all formats where compression or encryption is involved, but I'm not familiar with Mathematica users.

Trifft Ihre Beschreibung auf alle drei Typen zu? qazwsx vor 12 Jahren 0
1
RedGrittyBrick

Das Problem bei verschlüsselten oder komprimierten Dateien ist, dass, selbst wenn nur ein Byte in den Daten geändert wird, der restliche Dateiinhalt anders ist, nicht nur das geänderte Datenbyte.

Dies verhindert eine Strategie, mit der rsync die Datenübertragung reduziert, nämlich nur die geänderten Abschnitte einer Datei und nicht die gesamte Datei.

Komprimieren Sie also keine Daten, es sei denn, Sie benötigen Speicherplatz auf der Festplatte (in diesem Fall verwenden Sie eine festplattenbasierte Komprimierung, da dies für Anwendungen wie rsync transparent ist).

Verschlüsseln Sie keine Daten, es sei denn, Sie müssen die Vertraulichkeit der Daten schützen, falls der Computer (oder die Festplatte) gestohlen wird oder verloren geht. (Bewahren Sie Sicherungskopien Ihrer Daten und insbesondere Ihrer Verschlüsselungsschlüssel oder Wiederherstellungsschlüssel auf). Die Verschlüsselung ganzer Festplatten wirkt sich wahrscheinlich am wenigsten nachteilig auf die Rsync-Leistung aus (führt jedoch höchstwahrscheinlich zu einem katastrophalen Datenverlust, wenn eine Festplatte ausfällt und keine Datensicherungen verfügbar sind oder wenn Sie das Betriebssystem ohne Sicherung neu installieren.) Wiederherstellungsschlüssel für andere Datenträger / Partitionen)

Das Obige geht davon aus, dass (eine beträchtliche Anzahl von) die relevanten unkomprimierten / unencypted-Dateien von Zeit zu Zeit teilweise geändert werden können - durch Bearbeiten oder Anhängen einer Art -, während der Großteil der Daten in der Datei unverändert bleibt.

Wenn ZIP-Dateien viele Dateien enthalten und sich nur einige der Dateien geändert haben, kann rsync vermeiden, den größten Teil der ZIP-Datei erneut zu senden. Mit dem Schalter --rsyncable können Sie ein ähnliches Verhalten von gzip erzielen (obwohl dies ein kleines Maß an Komprimierungsrate kostet). psusi vor 12 Jahren 2
Rsyncrypto kündigt sich selbst als rsync-freundliche Verschlüsselung an. https://rsyncrypto.lingnu.com/index.php/Home_Page Matthew Hannigan vor 6 Jahren 0