großes Verzeichnis-Dateiecho

366
Michael J. Lee

Gibt es Werkzeuge, die einseitige Änderungen von einem großen Verzeichnis (mehr als 5 Millionen Dateien) zu einem anderen innerhalb eines Windows-Netzwerks bewirken? Ich brauche es auch, um eine ziemlich schnelle Synchronisierung nach dem ersten Aufbau zu erhalten. Ich habe mit ein paar Tools wie Microsoft SyncToy und Cobian Backup herumgespielt, aber sie scheinen nicht für diese Größe gebaut zu sein.

Weniger als 1% der Dateien ändern sich alle 1 Stunde, aber das Problem mit dem Design des von mir geerbten Verzeichnissystems besteht darin, dass die Änderungen an jeder Position im Verzeichnisbaum vorhanden sein können und es kein Protokoll der Änderungen gibt, also eine vollständige Überprüfung wurde in der Vergangenheit vorgeformt, was etwa 4-5 Stunden dauern würde.

Ich habe ein benutzerdefiniertes Werkzeug entwickelt, um die Synchronisierung viel schneller als diese anderen durchzuführen, aber ich habe einfach nicht die Zeit, all die Glocken und Trillerpfeifen einzubauen, also suche ich in der Zwischenzeit nach etwas, um den Trick auszuführen. Ich habe vor, das System zu ändern, aber an diesem Punkt möchte ich nur, dass sie mit weniger Verzögerungen synchronisiert werden.

[Update] - Meine Dateien sind sehr klein und reichen jeweils von 10 bis 30 kb. - Der Verzeichnisbaum ist ziemlich flach.

1

2 Antworten auf die Frage

2
Zoredache

Wenn Sie "Windows-Netzwerk" sagen, meinen Sie, Sie haben ein Windows-Netzwerk mit einem Active Directory? Eine Möglichkeit, dass Sie sich DFS-R ansehen sollten. Neuere Versionen von DFS-R überwachen das Dateisystem und übertragen nur Änderungen. Wenn Sie über 5 Millionen Dateien verfügen, kommen Sie möglicherweise an die DFS-Grenzwerte heran.

Ja, wir haben ein paar Windows Storage Server Edition-Boxen, und wir haben gestern versucht, DFS zu aktivieren. Die Box schien es nicht zu gefallen, so viele Daten zu schlucken, und wir mussten sie stoppen, da die Kunden anfingen, zu telefonieren. Scheint es eine bessere Idee, mit einem Ordner gleichzeitig zu beginnen als mit dem ganzen Tier? Michael J. Lee vor 12 Jahren 0
DFS-R ist vielleicht der richtige Weg, aber die anfängliche Synchronisierung dauert sicherlich sehr lange. Dieses [MS-Blog] (http://blogs.technet.com/b/askds/archive/2010/09/07/replacing-dfsr-member-hardware-or-os-part-2-pre-seeding.aspx) deckt ab, wie man DFS vorsamen kann Zoredache vor 12 Jahren 0
+1 Erlaube mir, dies etwas näher zu untersuchen Michael J. Lee vor 12 Jahren 0
0
jftuga

Sie könnten eine davon ausprobieren:

cwrsync - Rsync für Windows

Robocopy

Keines dieser Tools vermeidet eine vollständige Prüfung des Dateisystems. Bei Millionen von Dateien dauert dies lange. Zoredache vor 12 Jahren 0
Ja, beide brauchen viel Zeit zum Scannen! Ich bin überrascht, dass niemand ein paralleles Scan- und Kopiersystem aufgebaut hat. Meine Dateien sind klein (10-30 KB), das Kopieren sollte also ziemlich schnell gehen Michael J. Lee vor 12 Jahren 0

Verwandte Probleme