Nun, ich habe es sortiert. Ich zögerte, die Antwort in diesem Stack zu verwenden.
https://stackoverflow.com/questions/15799047/trying-to-remove-yum-which-iscrected-in-centos
Da es Kommentare gab, die darauf hindeuten, dass yum selbst kaputt war. Ich habe es trotzdem versucht;
rpm -e --nodeps libffi
Und es deinstallierte das beleidigende libffi-Paket. Dann
yum install libffi-devel
funktionierte gut und ich konnte weitermachen und Ruby kein Problem installieren.