Das Problem war, dass Windows keine AAAA-Suchvorgänge durchgeführt hat, vermutlich weil es nicht sinnvoll ist, AAAA-Suchvorgänge durchzuführen, wenn die einzige IPv6-Adresse eine Teredo-Adresse ist.
Die IPv6-Konnektivität funktioniert, solange eine explizite Adresse angegeben wird.
So gelang es mir, Konnektivität zu erhalten, indem der Name im Feld Hostname durch die tatsächliche IPv6-Adresse des Servers ersetzt wurde. Danach konnte WinSCP eine Verbindung herstellen.
In meinem Fall haben die Server statische IPv6-Adressen (zumindest solange sie beim aktuellen Anbieter bleiben). Eine statische IPv6-Adresse in den WinSCP-gespeicherten Anmeldungen ist daher kein großes Problem.