Sequenziell: for i in ; do do_something $i; done- zu langsam
Parallel: for i in ; do do_something $i& done- zu viel Last
Wie lassen sich Befehle parallel ausführen, jedoch nicht mehr als beispielsweise 20 Instanzen pro Moment?
Jetzt normalerweise mit Hack wie for i in ; do do_something $i& sleep 5; done, aber das ist keine gute Lösung.
Update 2 : Konvertierte die akzeptierte Antwort in ein Skript: http://vi-server.org/vi/parallel
#!/bin/bash NUM=$1; shift if [ -z "$NUM" ]; then echo "Usage: parallel <number_of_tasks> command" echo " Sets environment variable i from 1 to number_of_tasks" echo " Defaults to 20 processes at a time, use like \"MAKEOPTS='-j5' parallel ...\" to override." echo "Example: parallel 100 'echo \$i; sleep \`echo \$RANDOM/6553 | bc -l\`'" exit 1 fi export CMD="$@"; true $ cat << EOF | make -f - -s $MAKEOPTS PHONY=jobs jobs=\$(shell echo ) all: \$ \$: i=\$@ sh -c "\$\$CMD" EOF Beachten Sie, dass Sie vor "i =" 8 Leerzeichen durch zwei Tabulatoren ersetzen müssen, damit es funktioniert.
GNU Parallel ist dafür gemacht.
seq 1 1000 | parallel -j20 do_something Es kann sogar Jobs auf Remote-Computern ausführen. Hier ein Beispiel für die Umcodierung einer MP3-Datei in OGG mit server2 und einem lokalen Computer, auf dem pro CPU-Kern 1 Job ausgeführt wird:
parallel --trc {.}.ogg -j+0 -S server2,: \ 'mpg321 -w - {} | oggenc -q0 - -o {.}.ogg' ::: *.mp3 Sehen Sie hier ein Einführungsvideo zu GNU Parallel:
Not a bash solution, but you should use a Makefile, possibly with -l to not exceed some maximum load.
NJOBS=1000 .PHONY = jobs jobs = $(shell echo ) all: $(jobs) $(jobs): do_something $@ Then to start 20 jobs at a time do
$ make -j20 or to start as many jobs as possible without exceeding a load of 5
$ make -j -l5 One simple idea:
Check for i modulo 20 and execute the wait shell-command before do_something.
for i in ; do (echo $i ; sleep `expr $RANDOM % 5` ) & while [ `jobs | wc -l` -ge 20 ] ; do sleep 1 done done You could use ps to count how many processes you have running, and whenever this drops below a certain threshold you start another process.
Pseudo code:
i = 1 MAX_PROCESSES=20 NUM_TASKS=1000 do get num_processes using ps if num_processes < MAX_PROCESSES start process $i $i = $i + 1 endif sleep 1 # add this to prevent thrashing with ps until $i > NUM_TASKS posting the script in the question with formatting:
#!/bin/bash NUM=$1; shift if [ -z "$NUM" ]; then echo "Usage: parallel <number_of_tasks> command" echo " Sets environment variable i from 1 to number_of_tasks" echo " Defaults to 20 processes at a time, use like \"MAKEOPTS='-j5' parallel ...\" to override." echo "Example: parallel 100 'echo \$i; sleep \`echo \$RANDOM/6553 | bc -l\`'" exit 1 fi export CMD="$@"; true $ cat << EOF | make -f - -s $MAKEOPTS PHONY=jobs jobs=\$(shell echo ) all: \$ \$: i=\$@ sh -c "\$\$CMD" EOF Note that you must replace 8 spaces with 2 tabs before "i=".
Sie können es so machen.
threads=20 tempfifo=$PMS_HOME/$$.fifo trap "exec 1000>&-;exec 1000<&-;exit 0" 2 mkfifo $tempfifo exec 1000<>$tempfifo rm -rf $tempfifo for ((i=1; i<=$threads; i++)) do echo >&1000 done for ((j=1; j<=1000; j++)) do read -u1000 { echo $j echo >&1000 } & done wait echo "done!!!!!!!!!!" Bei Verwendung von Named Pipes werden jedes Mal 20 Sub-Shell parallel ausgeführt.
Hoffe es hilft :)