Neue Fragen mit dem Tag «gnu-parallel»

Nach meinem Verständnis sollte die Option -X die Argumente gleichmäßig auf die Jobs verteilen. Ich bekomme jedoch eine sehr verdrehte Verteilung: user@host:/tmp/ptest$ count() { > echo $# > } user@host:/tmp/ptest$ export -f count user@host:/tmp/ptest$ count *.jpg 5825 user@host:/tmp/ptest$ pa...

Ich bin total verwirrt, wie man GNU parallel verwendet, um stdin an den Jobbefehl zu übergeben. Ich habe, was ich mir vorstellte, ein wirklich üblicher Anwendungsfall. Ich habe einen Prozess xxd, der etwas mit stdin macht und stdout ausgibt. Ich habe zum Beispiel eine Möglichkeit, einen anderen Stan...

Kann ich rsh anstelle von ssh verwenden, um Jobs zwischen Knoten in einem HPLC-Setup aufzuteilen? Oder kann gnu-parallel nur verschiedene Aufträge per ssh senden?

Ich habe mehrere Verzeichnisse mit Tausenden von GZIP-Dateien (insgesamt sprechen wir von 1M-Dateien). Einige dieser Dateien sind beschädigt und die meisten von ihnen sind sehr klein (einige KB). Fast alle von ihnen sind sich inhaltlich sehr ähnlich. Wenn Sie alle zusammen komprimieren, sollte sich...

Ich lade normalerweise Dateien parallel mit curl und URLs in eine Datei wie diese herunter: cat links.txt | parallel --will-cite curl --connect-timeout 5 --max-time 10 --retry-max-time 40 --retry 5 --retry-delay 0 -s -f -O -C - Wo links.txt eine URL pro Zeile hat. Jetzt muss ich jeder Datei einen...

Ich verwende GNU parallel mehrere Jobs parallel wie folgt auszuführen: parallel python3 main.py arg ::: args*. Bei Single-Threaded-Jobs habe ich -j 100%sichergestellt, dass 1 Job einem Core zugeordnet ist. Jetzt hat jeder Job vier Threads und ich habe 32 Kerne. Ich möchte die Jobs so verteilen, dass...

Ich habe dieses Skript: GLOBAL_VAR="some global value" function test { echo $1 echo $ } export -f test parallel --jobs 5 --linebuffer test ::: "$" Wie kann ich $GLOBAL_VARvon Parallel aus sehen?

Ich habe versucht, das von mir verwendete Skript zu parallelisieren, aber GNU Parallel ist bisher sehr anspruchsvoll. Ich habe 2 Dateien - eine, die Hosts enthält, auf denen der Befehl ausgeführt werden soll, und eine zweite, die Parameter für den Befehl hat. Unten sehen Sie Beispieldaten: $ cat wor...

Hier ist ein einfaches Bash-Skript für den HTTP-Statuscode while read url do urlstatus=$(curl -o /dev/null --silent --head --write-out '%' "$" --max-time 5 ) echo "$url $urlstatus" >> urlstatus.txt done < $1 Ich lese die URL aus einer Textdatei, verarbeitet jedoch nur eine zu einem Zeitpun...

Ich versuche parallel zu werden, um Verarbeitungsknoten dynamisch hinzuzufügen / zu entfernen, und ich kann angeben, auf welchen Hosts --sshloginfile ausgeführt werden soll. Leider ändert sich das Ändern der Einträge in sshloginfile während der parallelen Ausführung nicht, welche Hosts verwendet we...

Ich teste derzeit gnu parallel, um einen Vergleichsbefehl mit bash auf mehrere Server zu verteilen. In seiner grundlegendsten Funktion benötigt dieser Vergleichsbefehl zwei Eingaben zum Vergleich (Oracle-Datenbankzugriffe) und erfordert einen Ausgabedateinamen über -o. Das Programm muss mindestens e...

Ich möchte GNU parallel auf einem Computercluster installieren . Ich sehe, dass es mehrere Versionen von GNU-Parallel gibt, die man herunterladen kann (siehe obigen Link unter "Herunterladen von GNU Parallel"). Ich denke, die für mich interessantesten Versionen sind: Arch Linux Alpine Linux Alt Lin...

Ich verwende Ansible, um einige Konfigurationen auf mehreren Knoten einzurichten, und als Teil dieses Setups muss ich eine große Datei in n Zeilen aufteilen und jeden Teil in eine Remote-Datei kopieren, ohne eine lokale Kopie jedes Blocks zu erstellen (wie der Befehl bash split) tut). Ansible kann d...

Wie führe ich einen Befehl für jede Zeile stdinsofort aus? Beispiel : (echo abc; sleep 10; echo def;) | ??? Das xargsTool führt den Job nicht aus, da es blockiert, bis alle Daten sichtbar sind (wartet, bis stdout geschlossen wird). Ich muss jedoch sofort Befehle ausführen, wenn neue Zeilen verfügba...

Travis CI verwendet Ubuntu 12.04. Ich möchte GNU Parallel darauf installieren und konnte sudo apt-get install paralleles jetzt mit, kann es aber jetzt nicht. Was muss ich tun? Muss ich es jetzt von Grund auf kompilieren?

Ich verwende gnu-parallel, um mehrere Python-Skripte parallel auf mehreren Computern in meinem Gigabit-Netzwerk auszuführen. Die verarbeiteten Dateien befinden sich in einem tmpfs-Ordner (RAM) auf meinem Master-Knoten. Wenn ich einen parallelen Prozess starte, kann ich sehen, dass alle Kerne im Remo...

Wir haben ein 60-Terabyte-Blockgerät, das wir mit dd auf Null setzen wollen. Kann diese Operation parallelisiert werden, um die benötigte Zeit zu reduzieren? Ich habe versucht, den folgenden Befehl auszuführen, aber das ist nicht das, wonach ich suche: seq 1 5 | parallel dd if=/dev/zero of=/dev/mapp...

Ich versuche, eine Reihe von Dateien mit dem folgenden Code zu verschlüsseln: find . -name "*.vi" | sort | parallel --gnu -j 4 --workdir "$PWD" ' echo "Encrypting {/.} ..." gpg -r user@myemail.com -o "/tank/test/{/.}.gpg" -e "{}" '; Dies funktioniert gut, aber nur, wenn die Dateinamen keine Leerzei...

Ich versuche, die Eingaben auf unterschiedliche Weise parallel zu verarbeiten und die resultierenden Zeilen so zu schreiben, wie sie hereinkommen. Mein derzeitiger Ansatz lautet: # process_parallel.sh read input parallel --colsep ' ' --linebuffer 'echo $input | {}' \ ::: 'python process1.py' ./proce...

Gnu Parallel ist ein leistungsstarkes Werkzeug, mit dem ich viele unabhängige BASH-Befehle als einen einzigen Satz parallel ausführen kann. Ich möchte in der Lage sein, dieselben Befehle SEQUENTIALLY ohne wesentliche Änderungen an dem von mir verwendeten Befehl auszuführen. Ich weiß, dass es einen S...

Ich verwende GNU Parallel, um einen Befehl mehrere tausend Mal gleichzeitig auszuführen. Um Protokolle der Ausführung zu erhalten, verwende ich --filesund --results. Um eine schöne Fortschrittsanzeige zu erhalten, verwende ich --etaund --progress. Nun, mein Problem ist, dass, während STDERR zu den D...

Ich benutze die zshSchale. Ich versuche zu verwenden, sedum einige Texte in vielen Dateien zu ersetzen und parallel, um den Prozess zu beschleunigen. Als ich dies an einer Datei getestet hatte und die Befehlsausgabe auf gehen ließ, stdoutsah ich das erwartete Ergebnis. Als ich versuchte, diese Ausga...

Ich versuche zu verwenden parallelund ackzusammen einige Suchen parallel durchzuführen. Es ackscheint jedoch darauf zu bestehen, stdindass es verwendet wird, wenn es sich in einer Pipe befindet, selbst wenn Sie ihm Dateien zum Suchen geben: $ echo hello > test.txt $ ack hello test.txt hello $ e...

Ich führe einen Befehl parallel mit Gnu Parallel aus, der zwei Parameter als Eingabe hat, ein Verzeichnis und eine conf-Datei: parallel --gnu my_command ::: (ls -d dir*test) ::: properties.conf Ich lasse es auf einer Multi-Core-CPU (24 Kerne) laufen und "my_command" wird auf jedem einzelnen Kern au...

Ich habe versucht, den Import eines großen Datensatzes mit einem Ordner mit .sql-Dateien zu beschleunigen ls -rS *.sql | parallel -j16 mysql -uusername -ppassword dbname "<" Kurz nachdem ich das ausgeführt habe, bekomme ich eine Fehlermeldung: ERROR 1146 (42S02) at line 65: Table 'dbname.some_ta...

Ich habe 100.000 URLs kleiner Dateien zum Herunterladen. Möchte 10 Threads verwenden und Pipelining ist ein Muss. Ich füge das Ergebnis zu einer Datei zusammen. Derzeitiger Ansatz ist: cat URLS | xargs -P5 -- curl >> OUTPUT Gibt es eine bessere Option, die den Fortschritt der gesamten Operati...

Ich habe ein Verzeichnis voll .gz, ich möchte jedes Archiv parallel zu GNU parallel erweitern. Ich habe jedoch nichts erreicht. Ich habe es versucht parallel 'gunzip {}' ::: `ls *.gz` parallel gunzip `ls *.gz` ohne ergebnis sagt mir bash: /bin/bash: archive1.gz: command not found ... Was mache ich...

Ich habe etwa 3.000 Dateien, die jeweils 300 MB groß sind, und ich möchte sie mit meinem 16-Core-Server so schnell wie möglich nach einer Reihe von Teilzeichenfolgen durchsuchen. Dies ist, was ich versucht habe, aber es scheint nicht, die Dateien zu durchsuchen. sudo find /mnt2/preprocessed/prepro...

Homebrew hat eine Formel für moreutilsund GNUparallel . GNU Parallel kollidiert mit Moreutils, da es auch ein binäres Programm hat parallel, was nur weniger nützlich ist. Ich möchte trotzdem beide Formeln gleichzeitig installieren. Wie kann ich das machen? Idealerweise würde ich GNU Parallel gparall...

Ich versuche, eine Reihe riesiger gz-Dateien in komprimierte g-gepackte N-Linien zu zerlegen. Um dies zu demonstrieren, betrachten wir Folgendes: seq 100 | gzip > big_file0.gz Ich kann dies wie folgt in mehrere komprimierte 10-Zeilen-Dateien aufteilen: zcat big_file0.gz | split -l 10 --filter='g...