Das hat funktioniert:
ffmpeg -i VTS_01_2.VOB -ss 589 -t 274 -c:v mpeg4 -qscale:v 2 -c:a mp2 -b:a 320k output.avi
Anscheinend hat das Angeben des Audio-Codecs den Ausschlag gegeben.
sameq
sollte nicht verwendet werden, und es ist auch besser, den Videocodec und die Videoqualität explizit anzugeben.