Ich habe mit NVENC die Erfahrung gemacht, dass sie der x264 / x265-CPU-Kodierung wirklich unterlegen ist, insbesondere bei schnell bewegten oder detailreichen Szenen.
Dies bedeutet, dass Ihr Setup in einem CBR-Szenario wie erwartet funktioniert. Möglicherweise können Sie mit Ihrem ffmpeg-Setup einige Einstellungen vornehmen, das Prinzip bleibt jedoch bestehen. YouTube verwendet kein echtes CBR. Dies könnte einer der Gründe sein.
Eine Erfahrung: Je neuer Ihr NV SDK und Ihr FFmpeg-Build, desto besser die Ergebnisse - es scheint viel aktive Entwicklung zu geben.