Hier ist der Befehl, den ich schließlich verwendet habe:
PowerShell -Command "get-process | ? {$_.WorkingSet64 -gt 10000000000 -AND ($_.name -like 'java' -OR $_.name -like 'iexplore')} | foreach "
Mit Powershell werden alle Prozesse mit dem Namen "java" oder "iexplore" abgebrochen, wenn sie mehr als 1 GB RAM benötigen.