Gibt es eine Möglichkeit, deduplizierte NTFS-Laufwerke mit rsync oder einem anderen Linux-Tool zu sichern?

577
tenshimsm

Gibt es einen Linux-Weg oder ein Tool, das die Windows-Deduplizierung unter NTFS kennt? Hier verwende ich rsync, um Dateien von einer AD-Dateiserverfreigabe zu synchronisieren. Die Freigaben werden mithilfe von mount.cifs unter Linux nur zum Lesen bereitgestellt.

Da Linux die deduplizierten Dateien nicht kennt, werden alle Kopien synchronisiert.

Ich habe den Deduplizierungsdienst in Windows Server 2012 R2 aktiviert, da ich auf einem 2-TB-Laufwerk nur 190 GB frei hatte. Nach der Aktivierung der Deduplizierung (+ - eine Woche später) betrug mein freier Speicherplatz 860 GB

Die Freigaben befinden sich in einer AD-Umgebung, in der verschiedene Benutzer aus verschiedenen Räumen / Sektoren Daten speichern. Sie haben die Gewohnheit, Kopien derselben Datei in einen anderen Ordner zu kopieren, den sie als Backup betrachten. - tenshimsm vor 4 min bearbeiten

Ich starte eine "Migration" zu BTRFS. Ich werde Snapper verwenden. Dies erfordert jedoch einige Änderungen. Und ich muss diese Dateien auf eine andere Festplatte synchronisieren, um Schnappschüsse usw. zu testen.

0
Es ist nicht klar, was dein Problem ist. Warum ist eine Duplizierung wichtig, wenn Sie die Freigaben nur lesbar mounten? Seth vor 6 Jahren 0
@Seth Ich hatte auch einen WTF-Moment. Ich denke, er bedeutet "Kenntnis der Deduplizierung" beim Lesen der Freigabe, sodass jeder Block höchstens einmal gelesen wird, auch wenn er von mehreren Dateien referenziert wird. Jede andere Interpretation, die keinen Sinn macht. Tonny vor 6 Jahren 0
@Seth Es ist wichtig. Ich gebe nur Informationen, die meiner Meinung nach helfen könnten. Das Problem ist, dass Linux die deduplizierten Dateien bei jeder Ausführung von rsync nicht kennt und alle Kopien derselben Datei synchronisiert. tenshimsm vor 6 Jahren 0
Ich habe den Deduplizierungsdienst in Windows Server 2012 R2 aktiviert, da ich auf einem 2-TB-Laufwerk nur 190 GB frei hatte. Nach der Aktivierung der Deduplizierung (+ - eine Woche später) betrug mein freier Speicherplatz 860 GB tenshimsm vor 6 Jahren 0
Ihre Frage ist schlecht formuliert. Deshalb ist es nicht klar, warum es wichtig ist. Wenn Sie eine so große Ersparnis haben ... was um alles in der Welt haben Sie so viele doppelte Dateien? Eine Freigabe enthält keine Informationen zur Deduplizierung. Sie können sie also nicht durch Lesen der Freigabe ermitteln. Warum nicht eine FS mit Deduplizierungsunterstützung für das Linux-System verwenden? Seth vor 6 Jahren 0
@Seth Die Freigaben befinden sich in einer AD-Umgebung, in der verschiedene Benutzer aus verschiedenen Räumen / Sektoren Daten speichern. Sie haben die Gewohnheit, Kopien derselben Datei in einen anderen Ordner zu kopieren, den sie als Backup betrachten. tenshimsm vor 6 Jahren 0
@Seth Ich beginne eine "Migration" zu BTRFS. Ich werde Snapper verwenden. Dies erfordert jedoch einige Änderungen. Und ich muss diese Dateien auf eine andere Festplatte synchronisieren, um Schnappschüsse usw. zu testen. tenshimsm vor 6 Jahren 0
@Seth ist meine Frage so arm? Ist das so schwer zu verstehen? tenshimsm vor 6 Jahren 0
Ihre anfängliche Frage machte nicht klar, auf welcher Seite Sie sich der Deduplizierung bewusst sein möchten und / oder warum Sie möchten, dass Ihre Linux-Seite die Windows-Deduplizierung kennt. Zumal Sie "rsync" verwenden, was nicht der Fall ist. Es ist nicht so arm wie in anderen, aber es fehlt an Detail, um es den Leuten zu ermöglichen, schnell zu verstehen, was Sie tun möchten, und den Leuten zu ermöglichen, zusätzliche Ansätze vorzuschlagen, die funktionieren könnten, ohne dabei auf der Hand zu sein. Seth vor 6 Jahren 0

2 Antworten auf die Frage

1
Keltari

Mir sind keine Backup-Tools bekannt, die "deduplizierungsfähig" sind. Aufgrund der Funktionsweise der Deduplizierung bezweifle ich jedoch, dass es welche geben würde. Möglicherweise ist es möglich, dass die Sicherungssoftware seit meinem letzten Blick fortgeschritten ist.

Es ist jedoch möglich, optimierte Sicherungen von deduplizierten Volumes durchzuführen. Dieser MSDN-Artikel beschreibt ausführlich. Im Wesentlichen führt Ihr Backup-Tool inkrementelle Backups durch. Wenn Sie nur geänderte Dateien seit der letzten Sicherung sichern, sichert das Tool keine neuen Dateien mit deduplizierten Abschnitten.

1
Christopher Hostage

Wenn Sie Sicherungen durchführen möchten, ohne Speicherplatz für doppelte Dateien zu verschwenden, sollten Sie eine Sicherung auf einem anderen deduplizierten Laufwerk auf einem anderen Server (Windows oder Linux) in Betracht ziehen. Ich kenne keine Deduplizierungs-fähigen Sicherungs-Apps. Sie werden normalerweise im Betriebssystem ausgeführt und sehen die vom Betriebssystem angezeigten Dateien. Sie können auch die Verwendung von Windows-Links anstelle von Kopien der Datei in Betracht ziehen. Wenn es ganze Verzeichnisse gibt, die identisch sind, sollten Sie sie unter C: \ SharedFiles oder C: \ Users \ Public ablegen.

Verwandte Probleme