Die entsprechende Zeile in fstab würde aussehen
user@remoteserver.com:/RemoteDirectory /mnt/localdirectory fuse.sshfs nonempty,allow_other 0 2
Wie Sie bereits erwähnt haben, müssen Sie vor der Verwendung eine öffentliche / private Schlüsselbeziehung zwischen den Hosts ohne Kennwort einrichten. Sie sollten dies zuerst einrichten und prüfen, ob sshfs von der Befehlszeile aus einwandfrei funktioniert.
(Beachten Sie auch, dass die Option allow_other keine anderen erlaubt.)