Führen Sie zwei Verzeichnisse in Linux zusammen, um alle eindeutigen Dateien zu erhalten

Ich würde einen doppelten Dateisucher (es gibt viele, wählen Sie Ihren Favoriten) in den beiden Ordnern ausführen, um sie auf einen einzigen Satz eindeutiger Inhalte zu reduzieren. Dann wird eine Massenumbenennung von *in folder1_*im ersten Ordner umbenannt, ähnlich wie im zweiten, um eindeutige Namen sicherzustellen. Verbinden Sie dann die beiden mit einer normalen Dateiverschiebung.

Wenn Sie sich nicht um die Namen kümmern, verschieben Sie die Dateien in jedem Ordner in den Zielordner und benennen Sie sie nach ihrem MD5-Hash um:

for f in folder1/* folder2/*;do mv -nv "$f" target/$(md5sum -b "$f" | cut -d ' ' -f 1); done 

-nDies ist nicht unbedingt erforderlich. Es verhindert, dass die zuerst verschobene Datei durch eine zweite, identische Datei beschädigt wird. Das Endergebnis ist also, dass die Duplikate in ihren Quellverzeichnissen belassen werden und Sie eine Vorstellung davon haben, wie viele Dupes Sie hatten.

Geben Sie ihnen dann ggf. einen anderen Satz willkürlicher Namen (Ausführen in target):

ls | cat -n | while read n f; do mv "$f" "$n.extension"; done 

(ein Liner von hier oben )

Dies sollte es tun, um ein wenig an Ihre Namenskonventionen anzupassen, und Sie verlieren die ursprünglichen Namen (andernfalls müssen Sie herausfinden, was zu tun ist, wenn Sie zweimal denselben Namen mit unterschiedlichem Inhalt haben).

(for file in folder1/* folder2/* ; do md5sum $file ; done) | sort | awk '' | uniq -f 1 -c | while read count name hash ; do cp $name dest/$hash ; done 

Oder wenn Sie den ursprünglichen Dateinamen nicht verlieren möchten, ändern Sie ihn einfach:

(for file in folder1/* folder2/* ; do md5sum $file ; done) | sort | awk '' | uniq -f 1 -c | while read count name hash ; do cp $name dest/$(echo $name | sed -e 's/\//_/') ; done 

Der Einfachheit halber gibt es viele Annahmen: Keine Pfade mit Leerzeichen, Ausführen von Aufgaben in beiden Verzeichnissen, Ausgabe in einem Verzeichnis dest/usw. Viele Dinge können je nach Ihren spezifischen Anforderungen behoben werden, aber das oben genannte ist eine funktionierende Basis.