Die schnellste Möglichkeit, ein Verzeichnis mit einer TB von Daten (Bilddateien) zu kopieren, zu kopieren oder zu sichern

1045
Nagarajan S R

Hallo, können Sie eine sehr effiziente und leistungsstarke Option vorschlagen, um Dateien (TB Daten in Form von Bildern vorhanden) von einem Datenträger auf einen anderen zu kopieren.

Ich habe Optionen wie cp, rsync usw. gesehen, möchte aber eine zweite Meinung von Ihnen haben, die ein solches Szenario zuverlässig getestet haben.

Ich habe auch eine Anforderung wie folgt:

  1. Primärplatte -> Speicherort der Dateien nach der Aufnahme
  2. Sekundärplatte, auf der rsync von der Primärplatte gesichert wird.
  3. Dritte Festplatte, die jetzt die sekundäre Festplatte sichert und unerwünschte Dateien von der primären Festplatte löscht, sodass die sekundäre und dritte Festplatte erneut synchronisiert werden

Hinweis: 1. Bitte beachten Sie auch die Serverauslastung, da die Image-Dateien auch von anderen Prozessen parallel gelesen werden. 2. Ich versuche, von der sekundären Festplatte auf die dritte Festplatte zu sichern. Benötigen Sie Ihren Rat für den 3 Schritt

0

1 Antwort auf die Frage

0
davidgo

Leider ist das Kopieren von Festplatten langsam. Es gibt keinen billigen Weg, um dies zu umgehen.

Es scheint, dass RSYNC ein guter Weg ist, weil Sie nicht ständig alle Daten auf der Festplatte kopieren möchten. Sie sollten überprüfen, ob Ihr rsync nicht auf der Grundlage der Prüfsumme (dh ohne -c oder --checksum-Flag) überspringt, vorausgesetzt, Sie können sich auf Zeitstempel und Dateigröße verlassen. Wenn sich der Inhalt der Datei ändert (was sich unwahrscheinlich anhört), können Sie durch "--inplace --no-whole-file" eine erhebliche Beschleunigung erhalten, um nur die Bits zu kopieren, die sich geändert haben.

Natürlich gibt es andere Strategien, die es auf Blockebene zu überlegen gilt. Der Wechsel zu ZFS (oder DRBD oder Gluster oder MooseFS) und das Replizieren von Daten auf Blockebene kann effizienter werden, je nachdem, welche Art von Änderungen Sie vornehmen, wie stark Ihr Datenverkehr ist usw.

Danke für die Annäherung. Ich werde versuchen, die anderen Optionen zu erkunden, die Sie geteilt haben. Außerdem werden die Dateien niemals geändert. Sie können gelöscht, aber niemals geändert werden. Was würdest du mir vorschlagen? Nagarajan S R vor 6 Jahren 0

Verwandte Probleme