Warum ist mein Master-Knoten im Leerlauf, wenn GNU parallel ausgeführt wird?
Ich verwende gnu-parallel, um mehrere Python-Skripte parallel auf mehreren Computern in meinem Gigabit-Netzwerk auszuführen.
Die verarbeiteten Dateien befinden sich in einem tmpfs-Ordner (RAM) auf meinem Master-Knoten. Wenn ich einen parallelen Prozess starte, kann ich sehen, dass alle Kerne im Remote-Knoten funktionieren, aber mein Master-Knoten bleibt inaktiv.
So sieht meine parallele Linie aus:
parallel --workdir ./netshare --filter-hosts -S :,192.168.88.222\ 'myscript.py {.}.shp output_{.}.shp input.shp' ::: tile_.shp
Ich habe versucht, die Reihenfolge der IP-Adressen 192.168.88.222 ,: mit dem gleichen Ergebnis umzukehren.
Ich habe versucht, nur auf dem lokalen Master-Knoten auszuführen. Abgesehen von der Warnung, dass keine Remote-Knoten verfügbar sind, funktionieren alle 8 lokalen Threads.
Ich dachte, es könnte eine Netzwerklatenz sein, aber überhaupt keine Python-Skripte starten! Auf dem Remote-Host sehe ich, dass vier problemlos laufen.
Laut Ole's Kommentar habe ich das Problem mit bzip2 getestet. Hier der Befehl:
parallel -S $SERVER1,: 'cd /path/to/mounted/network/share && cp largefile.avi file.avi && bzip2 -v file.avi && rm file.avi.bz2' :::
Der Test funktionierte genau wie erwartet. Alle Kerne aller Hosts wurden mit cp und dann mit bzip gestartet. Das Problem liegt also irgendwie in meinem Python-Skript.
0 Antworten auf die Frage
Verwandte Probleme
-
2
Erinnert sich Windows 7 Home Premium an Netzwerkfreigaben-Passwörter?
-
5
XP-Netzwerkverbindung ohne Neustart freigeben?
-
5
Wie richte ich Windows ein, 802.11 gegenüber 3G zu bevorzugen?
-
4
Gibt es eine Möglichkeit, den Scanner eines Multifunktionsdruckers gemeinsam zu nutzen?
-
3
Gibt es eine Möglichkeit, zwei Computer über USB anzuschließen?
-
3
Wie halten Sie mehrere Verbindungen zum Internet?
-
4
iPod-Touch zum Abspielen von Filmen vom PC auf der PS3?
-
2
Mac tritt der Windows-Arbeitsgruppe nicht bei
-
1
Wie kann ich die Sicherheit meines Portals erhöhen?
-
1
Wie vernetzt man Windows XP und Ubuntu Linux?