Ich konnte keinen Weg finden, Mencoder davon abzuhalten, die beiden Untertitel zu überlagern, aber ich fand eine einfache Lösung.
Ich fügte meinem Konvertierungsskript am Anfang einen neuen Schritt hinzu, der prüft, ob die Dateierweiterung der Originaldatei mkv ist, und entfernt gegebenenfalls Untertitel mit diesem Befehl:
mkvmerge -S -o original.mkv /tmp/no_subtitles.mkv
dann benutze ich die Ausgabe dieses Befehls anstelle meiner "ursprünglichen" Datei und es gibt keine eingebetteten Untertitel, die unterdrückt werden müssen