Suchen und löschen Sie doppelte Dateien auf verschiedenen Festplatten und Verzeichnissen

Angenommen, Sie können Windows als Betriebssystem für den gesamten Prozess verwenden und den Free Duplicate File Finder nicht mögen (habe es nie versucht, aber es wurde hier erwähnt ), könnten Sie PowerShell verwenden, um mit relativ wenig Aufwand zu erreichen, was Sie möchten. Hinweis: Ich bin kein echter Profi bei PowerShell, daher bin ich ziemlich sicher, dass man meinen Code verfeinern kann.

Öffnen Sie einfach Powershell ISE (oder verwenden Sie Notepad, wenn Sie diesen nicht haben), kopieren Sie den folgenden Code, fügen Sie ihn ein und speichern Sie die resultierende Datei als * .ps1. Sie müssen auch ändern $oldpath‚s und $newpath‘ s - Werte auf Ihre Verzeichnisse - einfach Ihre Wege zwischen den Anführungszeichen.

# Search-and-Destroy-script # Get all files of both code-directories: $oldpath = "Disk1:\code" $newpath = "DiskNew:\code"  $files_old = Get-ChildItem -Path $oldpath -Recurse -File $files_new = Get-ChildItem -Path $newpath -Recurse -File  for($i=0; $i -lt $files_old.length; $i++){ $j=0 while($true){ # if last edit time is the same and file-size is the same... if($($files_old[$i]).length -eq $($files_new[$j]).length -and $($files_old[$i]).lastWriteTime -eq $($files_new[$j]).lastWriteTime){ # Get File-Hashes for those files (SHA1 should be enough) $files_old_hash = Get-FileHash -Path $($files_old[$i]).FullName -Algorithm SHA1 | ForEach-Object {$_.Hash} $files_new_hash = Get-FileHash -Path $($files_new[$j]).FullName -Algorithm SHA1 | ForEach-Object {$_.Hash} # if hashes also are the same... if($files_old_hash -eq $files_new_hash){ # remove the old file (-Confirm can be removed so you don't have to approve for every file) # if you want to check the files before deletion, you could also just rename them (here we're adding the suffix ".DUPLICATE" # Rename-Item -Path $($files_old[$i]).FullName -NewName "$($files_old[$i]).Name.DUPLICATE" Remove-Item -Path $($files_old[$i]).FullName -Confirm Write-Host "DELETING`t$($files_old[$i]).FullName" -ForegroundColor Red break } # if files aren't the same... }else{ # if old_file is compared to all new_files, check next old file if($j -ge $files_new.length){ break } } $j++ } } 

Starten Sie dann das Skript (z. B. mit der rechten Maustaste). Wenn dies fehlschlägt, stellen Sie sicher, dass Sie ExecutionPolicyfestgelegt sind ( https://superuser.com/a/106363/703240 ).

Ich verwende ein fast identisches Skript, um nach bereits kopierten Dateien zu suchen (möglicherweise jedoch mit geänderten Namen). Dieser Code setzt voraus, dass nur die Namen der Dateien unterschiedlich sind, nicht jedoch der Inhalt. Die letzte Bearbeitungszeit bleibt normalerweise gleich, selbst wenn Sie eine Datei in einen neuen Pfad kopieren - anders als die Erstellungszeit. Wenn der Inhalt anders ist, schlägt meine Lösung fehl. Sie können andere eindeutige Attribute von Dateien verwenden (aber welche?) Oder angeben, dass z. B. nur Dateien kleiner oder älter sind (was wiederum die Bearbeitungszeit betrifft) als die neuen Dateien gelöscht

Was macht das Skript:

1. Abrufen aller Dateien in den angegebenen Ordnern (und ihren Unterordnern)
2. Erste alte Datei abrufen (durch $ i angegeben) ...
3. Vergleich der letzten Bearbeitungszeit und der Dateigröße mit der der ersten neuen Datei (durch $ j angegeben) ...
4. Wenn sie gleich sind, berechnet sie einen Datei-Hash, um sicher zu gehen, dass es sich definitiv um dieselbe Datei handelt (dies könnte ein zu hoher Aufwand für Ihr Ziel sein).
5. Wenn die Hashwerte gleich sind, wird die alte Datei gelöscht (und es wird geschrieben, welche Datei in das Terminal geschrieben wird). Anschließend wird wieder bei 2. mit der nächsten alten Datei begonnen.
6. Wenn die Hashwerte nicht gleich sind (oder die letzten Bearbeitungszeiten nicht gleich sind oder die Dateigrößen nicht gleich sind), beginnen sie wieder bei 3. mit der nächsten neuen Datei.

Haben Sie versucht, Deduplizierungssoftware von Drittanbietern zu verwenden?
Ich habe Cloudberry-Deduplizierung ausprobiert und es ist wirklich effizient als:

• Es verfügt über einen eigenen Dedup-Mechanismus, um doppelte Daten zu vermeiden und somit viel Speicherplatz zu sparen.
• Ein weiterer Vorteil solcher Tools ist, dass sie zuverlässiger sind und über ein dediziertes Ressourcenmanagement verfügen.

rmlint is a command-line utility with options to do exactly what you want. It runs on Linux and macOS. The command you want is:

$ rmlint --progress \ --must-match-tagged --keep-all-tagged \ /mnt/OldDisk1 /mnt/OldDisk2 // /mnt/NewHugeDisk 

This will find the duplicates you want. Instead of deleting them directly, it creates a shell script (./rmlint.sh) which you can review, optionally edit and then execute to do the desired deletion.

The '--progress' option gives you a nice progress indicator. The '//' separates 'untagged' fro 'tagged' paths; paths after '//' are considered 'tagged'. The '--must-match-tagged --keep-all-tagged' means only find files in untagged paths that have a copy in a tagged path.

You can also shorten that command using the short format of the options:

rmlint -g -m -k /mnt/OldDisk1 /mnt/OldDisk2 // /mnt/NewHugeDisk