Beantwortung meiner eigenen Frage, da ich jetzt eine Lösung gefunden habe.
Ich verwende jetzt den Dienst nsupdate.info, der unterstützt, was ich will: Sowohl IPv4 als auch IPv6 werden mit demselben Namen erreicht, für den sowohl A- als auch AAAA-Datensätze bereitgestellt werden.
Sie hatten spezifische Anweisungen für die Fritz! Box, die bei der Einrichtung meines Kontos angezeigt wurden. Ich wiederhole hier, was ich jetzt in meinen Fritz! Box-Einstellungen habe:
Dynamischer DNS-Anbieter: Benutzerdefiniert
Aktualisierungs-URL: https://ipv4.nsupdate.info/nic/update https://ipv6.nsupdate.info/nic/update
Domänenname : MeinDomänenname .nsupdate.info
Benutzername: meinDomänenname .nsupdate.info
Passwort: [wie von nsupdate.info bereitgestellt]
Ich nutze diesen Service nun schon seit gut einem halben Jahr und funktioniert bis jetzt einwandfrei (aber ich logge mich nicht täglich in meine Fritz! Box ein, so dass Ihre Laufleistung variieren kann). Entschuldigung, dass ich nicht früher geantwortet habe, aber ich habe diese Frage völlig vergessen und habe gerade eine Erinnerungs-E-Mail erhalten, als jemand anderes einen Kommentar verfasste.
Hoffe das hilft anderen!