Es stellte sich heraus, dass es sich bei pfSense um ein Firewall-Problem handelt.
Zuvor hatte ich eine Regel, die jeglichen IPv4-TCP-Verkehr vom VLAN-Netzwerk zu einem beliebigen Ziel zuließ. Dies muss geändert werden, um IPv4 zu ermöglichen, wobei jedes Protokoll für ICMP funktionieren kann
Auch mein Native VLAN auf meinem Switch wurde konfiguriert, aber der zum ESXi-Host gehende Trunk-Port ließ das Native VLAN am Trunk-Port nicht zu.