Aus praktischen Gründen: Nein, das ist nicht möglich. Genauer gesagt: Es ist möglich, aber nicht machbar. Der Angreifer würde immense Rechenleistung oder große mathematische Durchbrüche benötigen.
Der Eintrag in Ihrer authorized_keys
Datei ist ein öffentlicher Schlüssel. Der springende Punkt bei der Public-Key - Kryptographie ist, dass Ihr öffentlicher Schlüssel öffentlich sein kann, weil ein Angreifer es nicht Ihre privaten Schlüssel verwenden kann, abzuleiten.