AFAIK, Dinge wie FreeNAS verwenden ein angepasstes Linux- oder NetBSD-Betriebssystem als Basis, und es sollte leicht genug sein, andere Software auszuführen - das ist einer der Gründe, warum sie verwendet werden.
Andererseits kann jedes auf Linux, BSD, Mac oder Windows basierende Gerät zu einem einfachen NAS werden, da ein NAS nur eine Möglichkeit darstellt, über ein Netzwerk auf Speicher zuzugreifen. Normalerweise wird SMB verwendet, da die meisten Clientgeräte normalerweise Windows sind. Es gibt aber auch viele andere Verbindungsmethoden.
Die dedizierten NAS-Betriebssysteme versuchen einfach, die Konfiguration und den Betrieb zu vereinfachen. Wenn Sie bereit sind, ein wenig Linux-Konfigurationsmagie zu erlernen, wäre dies eine der Linux-Distributionen - ich würde Debian empfehlen, da es stabil, einfach und gut unterstützt ist.