Beste Methode zum Kopieren großer Partitionsinhalte mit vielen Hardlinks

551
emi

Wir hatten eine LVM von fast 16 TB mit ReiserFS. Wir möchten jetzt weitere Festplatten hinzufügen, aber wir können ReiserFS nicht weiter verwenden, da es eine maximale Kapazität von 16 TB hat. Dieses Volume wird für inkrementelle Sicherungen mit RSync verwendet, wodurch unveränderte Dateien fest verknüpft werden.

Wir wissen, dass wir verwenden können, rsyncoder um fsarchiveres zu erreichen, aber beide sind sehr langsam und verbrauchen große Mengen an Speicher, da sie die Inodes jeder Datei zu erinnern hat.

Wir verwendeten ddund, sshum die Partition an einen temporären Ort zu kopieren, und nun möchten wir den Partitionstyp in ext4 64bits ändern (oder einen anderen Typ, wenn jemand eine bessere Lösung kennt).

0

1 Antwort auf die Frage

0
Theodore Ts'o

Wenn Sie den Dateisystemtyp ändern möchten, müssen Sie ein Werkzeug wie rsyncoder taroder verwenden fsarchiver. Ich denke jedoch, dass Sie in Betracht ziehen sollten, die Möglichkeit zu suchen, ein anderes Sicherungssystem zu finden, als rsyncfeste Links zu verwenden und zu verwenden.

Das Problem ist, dass feste Verknüpfungen und die Verwendung doppelter Verzeichnisse für inkrementelle Sicherungen eine sehr ineffiziente Datenstruktur zum Speichern von Sicherungsinformationen darstellen. Dies ist einer der Gründe, warum rsyncdas Kopieren all dieser Backups langsam und schmerzhaft ist. Es bedeutet auch, dass die Verwendung fsckeiner Konsistenzprüfung durchzuführen, wird eine Menge von Speicher, um sicher den Linkzähler für alle Dateien eine große Menge an Speicher nehmen, um nehmen --- aus dem gleichen Grund, dass rsync, tar, fsarchiverusw ., wird viel Speicherplatz benötigt.

Daher empfehle ich mir ein Backup-System wie Bacula, das den Katalog der gesicherten Dateien mit einer richtigen Datenbank speichert, anstatt zu versuchen, Verzeichnisse zum Speichern dieser Informationen zu verwenden. Und dies als Gelegenheit zu nutzen, um auf eine viel skalierbarere Backup-Lösung umzusteigen.

Kennen Sie eine Methode für die Migration von meinen inkrementellen Kopien zum Bacula-System? Oder vielleicht hat Bacula bereits ein Importwerkzeug? emi vor 8 Jahren 0
Die Verwendung eines Hardlink-Baums als Backup-System hat den Vorteil, dass jedes Verzeichnis der obersten Ebene wie eine Momentaufnahme aussieht. Am einfachsten ist es daher, ein Shellskript zu erstellen, das ein Bind-Mount vom ersten Snapshot - etwa / backup / 01-01-2014 - bis zu einem konstanten Verzeichnisnamen - in / files und erstellt Dann muss Bacula eine Sicherungskopie von / files erstellen. Entfernen Sie dann das Bind-Mount und erstellen Sie dann aus dem nächsten Shapshot ein Bind-Mount - dh / backup / 01-08-2014 - für / files, und lassen Sie dann die nächste Sicherung von Bacula durchführen. Es sollte in der Lage sein, die unveränderten Dateien als zu erkennen und nicht erneut zu sichern. Theodore Ts'o vor 8 Jahren 0
Ich kann Ihre Antwort immer noch nicht abstimmen. Ich komme wieder, wenn ich genug Ansehen geerntet habe;) emi vor 8 Jahren 0