Ich kann nicht für Mplayer antworten, aber die ffmpeg HWAccelIntro-Dokumentation enthält diese Tabelle für die Hardware-Unterstützung:
Wie zu sehen ist, ist die Unterstützung für VDPAU sehr begrenzt und wird nur unter Linux mit einer NVIDIA implementiert (wer weiß jedoch, welches Kartenmodell und welcher Treiber).
Sie können es also einfach als nicht implementiert betrachten.