Ich habe eine Reihe von gzip-Dateien, die ich ab und zu in bzip2 konvertieren muss. Derzeit verwende ich ein Shellskript, das einfach jede Datei und dann bzz2 'gunzip'. Obwohl dies funktioniert, dauert es viel Zeit, um es abzuschließen.
Kann dieser Prozess effizienter gestaltet werden? Ich bin bereit, einen Tauchgang zu machen und mir ggf. die Quellcodes von gunzip und bzip2 anzuschauen, aber ich möchte nur sicher sein, dass es sich auszahlt. Gibt es Hoffnung, die Effizienz des Prozesses zu verbessern?
Anstelle von gunzip in einem Schritt und bzip2 in einem anderen, frage ich mich, ob es vielleicht effizienter wäre, Pipes zu verwenden. So etwas wiegunzip --to-stdout foo.gz | bzip2 > foo.bz2
Ich denke mit zwei oder mehr CPUs, das wäre definitiv schneller. Aber vielleicht sogar mit nur einem Kern. Ich gebe schändlich zu, dass ich das nicht ausprobiert habe.
GNU parallel ( http://www.gnu.org/software/parallel ) kann eine Option sein, wenn Sie über mehrere Kerne (oder sogar mehrere Maschinen) verfügen:
ls *.gz | parallel "gunzip -c {} | bzip2 > {.}.bz2" Lesen Sie die Tutorial- / Manpage für Details und Optionen.
Was Sie gerade tun, ist Ihre beste Wette. Es gibt kein Konvertierungswerkzeug, und der Versuch, bzip2 eine bereits komprimierte Datei zu erstellen, ist keine Option, da dies häufig unerwünschte Auswirkungen hat. Da der Algorithmus unterschiedlich ist, würde das Konvertieren ungeachtet dessen das Abrufen der Originaldaten beinhalten. Außer wenn gzipping natürlich ein Schritt im bzip2-Prozess war, ist das leider nicht der Fall.
Gelegentlich muss ich dasselbe mit Protokolldateien tun. Ich beginne mit den kleinsten * .gz-Dateien zuerst ( ls -rS), gunzip und dann und bzip2 sie einzeln. Ich weiß nicht, ob es möglich ist, den Ausgang gunzip direkt an den Eingang bzip2 zu leiten. Der bzip2-Befehl ist beim Komprimieren so viel langsamer als gunzip beim Dekomprimieren, dass er den Speicher und den Swap-Speicherplatz auf dem Host belegen kann.
Verbesserungen oder Vorschläge sind willkommen. Hier ist mein einziger Liner:
for i in $(ls -rS *.gz | sed 's/\.gz//'); do gunzip $.gz; bzip2 -9 $; done Wenn Sie mehr als nur wenige haben, lesen Sie den LJ-Artikel mit einem schönen Shell-Skript.
http://linuxgazette.net/123/bechtel.html
7zip verbessert die Komprimierung und ist mehrstufig.
Just had to do this a few minutes ago:
find . -name "*.gz" | perl -pi -e 's/\.gz$//g;' | xargs -n1 ./rezip Where rezip would be defined as:
#!/bin/bash gunzip -v $1.gz && bzip2 -9v $1 Optionally, you can also make it multi-threaded by using a -P option with xargs, but be careful with that one. (Start low!)
Diese Frage wurde vor langer Zeit gestellt, als pbzip2 entweder nicht verfügbar war oder nicht in der Lage war, aus stdin zu komprimieren, aber Sie können jetzt sowohl das Dekomprimieren als auch das Komprimieren mit parallel und pbzip2 (anstelle von bzip2 ) parallelisieren :
ls *.gz | parallel "gunzip -c {} | pbzip2 -c > {.}.bz2" Das ist deutlich schneller als mit bzip2 .