Mein Problem ist gelöst, ich habe mit avcon tool neu codiert (viel Zeit mit ffmpeg versuchend). Das einzige Problem ist, dass die Kodierung ca. 40 Minuten für 1,50 Minuten Video benötigt.
avconv -i output.mp4 -vcodec libx264 -crf 27 -preset veryfast -c:a copy -s 3840x2060 fixed_keyframe_output.mp4