Welches Dateisystem sollte ich unter Linux für eine große Menge Festplattenspeicher verwenden (> 32 TB)?

1684
bjcubsfan

Ich versuche, ein großes Dateisystem in Linux zu erstellen, habe jedoch Probleme mit vielen der gängigen Dateisysteme.

  • JFS hat einen Fehler, der keine Erweiterung über 32 TB erlaubt.
  • XFS hat einen Fehler in der fsck, der dazu führt, dass der Computer den gesamten verfügbaren Arbeitsspeicher verwendet und abstürzt, wenn die fsck auf einer Festplatte ausgeführt wird, auf der sich eine große Datenmenge befindet (~ 20 TB).
  • EXT4 ist aufgrund eines Problems mit e2fsprogs auf 16 TB begrenzt.
  • BTRFS wird nett sein, aber sie haben momentan kein fsck, was ich brauche.

Irgendwelche anderen Ideen?

4
Warum sollten Sie Fsck "brauchen"? ZFS hat kein Fsck und benötigt es von Entwurf nicht. jlliagre vor 13 Jahren 0
Wie viel Platz reden wir hier? beatgammit vor 13 Jahren 0
Wir haben 200 TB Festplatten. Wir fügen ständig Daten hinzu, aber im Moment haben wir etwa 30 TB Daten. Wenn fsck entworfen ist, ist das in Ordnung. Für BTRFS wird in ihrem [Wiki] (https://btrfs.wiki.kernel.org/index.php/Main_Page) aufgelistet, dass Sie sich möglicherweise nicht von einem Absturz oder einem Stromausfall erholen können. Wir werden abstürzen und gelegentlich an Kraft verlieren, also brauchen wir etwas, das damit umgehen kann. Ich kann mir vorstellen, dass ZFS funktionieren würde, und werde es in Betracht ziehen. Es gibt den Nachteil, dass es nur auf die Sicherung kommt. bjcubsfan vor 13 Jahren 0

2 Antworten auf die Frage

4
Majenko

Es ist möglicherweise nicht so schnell wie die anderen, da es sich bei Linux nur um ein auf Sicherungen basierendes System von Anwendern handelt.

Der Name stand ursprünglich für "Zettabyte File System". Die ursprünglichen Namensselektoren fanden zufällig den Namen, und ein ZFS-Dateisystem kann 2 58 Zettabyte speichern, wobei jede ZB 2 70 Bytes beträgt .

Da ZFS ein 128-Bit-Dateisystem ist, kann es 1,84 × 10- mal 19- mal mehr Daten ansprechen als 64-Bit-Systeme wie NTFS. Die Einschränkungen von ZFS sind so groß, dass sie niemals angetroffen werden. Einige theoretische Grenzen in ZFS sind:

  • 2 48 - Anzahl der Einträge in einem einzelnen Verzeichnis
  • 16 Exabytes (16 × 10 18 Bytes) - Maximale Größe einer einzelnen Datei
  • 16 Exabytes - Maximale Größe eines Attributs
  • 2 56 Zettabyte (2 78 Byte) - Maximale Größe eines beliebigen Zpools
  • 2 56 - Anzahl der Attribute einer Datei (tatsächlich auf 2 48 für die Anzahl der Dateien in einem ZFS-Dateisystem beschränkt)
  • 2 64 - Anzahl der Geräte in einem beliebigen Zpool
  • 2 64 - Anzahl der Zpools in einem System
  • 2 64 - Anzahl der Dateisysteme in einem Zpool

Einige sagen, dass es nicht genug Atome in der Erdkruste gibt, um ein Dateispeicherarray groß genug zu machen, um die Beschränkungen von ZFS zu übertreffen.

0
Robin Roth

ZFS ist eine mögliche Lösung, aber heutzutage könnten auch Dateisysteme verwendet werden, die Sie anfangs ausgeschlossen haben

  • ext4: petabyte filesystemd sollte in aktuellen e2fsprog- und Kernel-Versionen kein Problem sein
  • btrfs: hat funktionierende btfsck und kann auch auf große Größen skaliert werden.

Verwandte Probleme