Welche Archivierungsmethode eignet sich besser zum Komprimieren von Textdateien unter Linux?

Das letzte Update von maximumcompression.com ist Juni 2011 _{(Antwort wurde im Okt-2015 aktualisiert).}
Daher erwähnt diese Website nicht
den aktuellen Textkompressor von Champion weltweit :

cmix

Wettbewerbe / Benchmarks:

• enwiki6
  18,2% Komprimierung der 1MB-Textdatei enwik6
• Calgary
  17,6% Komprimierung der 14 Dateien des Calgary-Corpus (3-GB-TAR-Datei)
• Hutter-Preis
  15,7% Komprimierung der 100MB-Textdatei enwik8
  (ist abercmixnicht der Gewinner, da zu viel RAM erforderlich ist, mehr als 20 GB)
• Silesia Open Source Compression Benchmark
  Komprimierung des 202MB-Schlesienkorpus mit 15,7%
• Large Text Compression Benchmark
  12,4% Komprimierung der 1 GB-Textdatei enwik9

Details:
Byron Knoll entwickeltcmix seit 2013 aktiv als libre-Software (GPL), basierend auf dem Buch Data Compression Explained von Matt Mahoney . Matt Mahoney hält auch einige der oben genannten Benchmarks aufrecht und schlägt ZPAQ ( WP ) vor, einen inkrementellen Befehlszeilen-Archiver.

Wenn Sie ein Standardwerkzeug bevorzugen (weniger RAM erforderlich), empfehle ich Folgendes:

lrzip

lrzipist eine Weiterentwicklung rzipvon Con Kolivas .
lrzipsteht für zwei Namen: Long Range ZIP und Lzma RZIP .
lrzipist oft besser als xz(ein anderes beliebtes Komprimierungswerkzeug).
Alexander Riccio empfiehlt auch lrzip.

Mein Liebling ist:

zpaq

Der „Archivierungsexperte“, Matt Mahoney, hat intensiv gearbeitet PAQ seit zehn Jahren Algorithmen und den besten Kompromiss zwischen CPU / Speicher - Ressourcen und Komprimierungsstufe bereitzustellen.

Die letzte zpaqVersion ist jedoch nicht oft auf neueren Distributionen verfügbar :-(
Ich kompiliere sie immer aus Quellen, wenn ich eine neue Maschine habe und ich brauche einen sehr guten Kompressor: https://github.com/zpaq/zpaq

clone https://github.com/zpaq/zpaq cd zpaq g++ -O3 -march=native -Dunix zpaq.cpp libzpaq.cpp -pthread -o zpaq 

Normalerweise hat bz2 eine bessere Komprimierungsrate, kombiniert mit besseren Wiederherstellungsfunktionen.

OTOH, gz ist schneller.

Es heißt, xz sei sogar noch besser als bz2, aber das Timing-Verhalten kenne ich nicht.

Vielleicht können Sie sich diese Benchmarks ansehen, insbesondere den Teil, der die Komprimierung der Protokolldateien testet .

bz2 hat eine engere Komprimierung, der Algorithmus hat mehr Möglichkeiten, nach Redundanz zu suchen, um diese zu komprimieren.

gzip bietet viel mehr Werkzeuge und ist mehr plattformübergreifend. Weitere Windows-Tools können mit .gz-Dateien umgehen. Es ist Teil von http, sodass auch Webbrowser es verstehen können.

Unter Linux gibt es Tools, mit denen Sie direkt an komprimierten Dateien arbeiten können. zgrep und bzgrep können in komprimierten Dateien suchen.

Wenn ich nur unter Linux arbeite, würde ich bzip2 für die etwas besseren Kompressionsraten verwenden.

xz komprimiert viel besser als bz2, benötigt aber mehr Zeit. Wenn also die maximale Komprimierung Ihr Ziel ist und der Speicherplatz auf Ihrer Festplatte hoch ist (dies ist bei 98% der Laufwerke der Fall, während ich meine Dateisysteme neu organisiere), können Sie ein Skript auslösen, um die Arbeit zu erledigen - machen Sie eine Pause und kommen Sie in 5 Minuten zurück.

unxz lässt sich in meiner Erfahrung sehr schnell dekomprimieren - was für mich täglich eine gute Sache ist.

bz2 ist schneller zu komprimieren als xz, scheint aber die Kompressionsergebnisse von xz nicht zu erreichen.

Die einzige Möglichkeit, diese Beurteilungen durchzuführen, besteht darin, Benchmarks mit einer Mischung aus gängigen Dateien auszuführen, die Sie normalerweise komprimieren / dekomprimieren würden, und die Parameter zu variieren, um zu sehen, welche Ergebnisse oben erscheinen.

Ich habe einen Benchmark gemacht testen Sie die folgenden komprimieren:
204MB Ordner (mit 1.600 HTML - Dateien)
Ergebnisse

7zip => 2.38 MB winrar => 49.5 MB zip => 50.8 MB gzip => 51.9 MB 

also ist der 7zip der beste unter ihnen, den sie hier bekommen können
http://www.7-zip.org/