HDBaseT ist so konzipiert, dass es mit Ethernet koexistiert / toleriert werden kann, sodass das andere nicht beschädigt wird. IEEE PoE für Ethernet ist so konzipiert, dass nichts beschädigt wird. Daher ist der Anschluss an HDBaseT zumindest sicher.
RS-232-Adapter sind etwas ganz anderes. Die hohen Spannungen und Pinbelegungen können die Ethernet-Ports (oder umgekehrt) beschädigen, wenn sie angeschlossen werden.
RS-485-Adapter sollten keinen Schaden verursachen (es ist differenziell bei niedriger Spannung), aber ich würde nicht darauf wetten.