Welches Dateisystem kann ich für eine große Menge kleiner Daten verwenden?

499
hirschme

Ich habe ~ 3,7 TB Daten von einem externen 4-TB-Laufwerk mit HFS + -Dateisystem auf ein anderes externes 4-TB-Laufwerk mit einem exFAT-Dateisystem kopiert. Die neue Festplatte wurde gefüllt, nachdem nur ~ 75% der Daten übertragen werden konnten. Ich denke, dass die Zuweisungseinheitengröße von exFAT mehr Speicherplatz pro Datei für kleine Dateigrößen benötigt.

Ich kopiere viele (~ Millionen) kleiner Dateien (jeweils 1,5 kB). Also versuche ich herauszufinden, wie das geht.

Daher brauche ich ein Dateisystem, das folgende Voraussetzungen erfüllt:

  • Blockgröße klein genug, um Millionen von Dateien mit einer Größe von 1,5 kB Platz zu sparen. (hier hat exFAT ein Problem)

  • Lesen / Schreiben kompatibel mit Linux. (hier hat HFS + ein Problem)

  • Kann eine 4T-Partition unter Linux erstellen. (hier hat ext4 probleme)

Irgendein alternatives Dateisystem?

UPDATE: Diese Frage wurde als bereits in einem anderen Beitrag beantwortet markiert ( Dateisystem für viele kleine Dateien optimieren? ). Die akzeptierte Antwort funktioniert jedoch nicht für mich:

mkfs.ext4 -b 1024 /dev/your_partition  Warning: specified blocksize 1024 is less than device physical sectorsize 4096 /dev/sdc: Cannot create filesystem with requested number of inodes while setting up superblock
2
EXT4 hat keine Probleme beim Erstellen von 4 TB Partitionen. GabrielaGarcia vor 5 Jahren 1
IMHO das beste Dateisystem ist [ZFS] (https://en.wikipedia.org/wiki/ZFS), das viele Vorteile gegenüber anderen hat, es wird auf allen BSDs und Linux und sogar unter Windows (in frühen Betas) gut unterstützt. Wenn Sie kompatibler werden möchten, erledigt das NTFS von Microsoft die Aufgabe über 'ntfs-3g'. Es kann praktisch auf allen Plattformen verfügbar sein. Verwenden Sie exFAT nicht mit Sicherheit. Im Grunde handelt es sich um ein altes FAT32-System, jedoch mit nicht mehr zulässigen Höchstgrenzen. Dies unterstützt keine Integritätsprüfung und verschwendet Speicherplatz durch die Verwendung einer großen Clustergröße. Alex vor 5 Jahren 2
Noch eine für zfs ivanivan vor 5 Jahren 0
@GabrielaGarcia Das Problem sind die winzigen Dateien, nicht die Volume-Größe. \ @hirschme die maximale Volumengröße für ex4 beträgt 1EiB. Siehe [Dateisystem für Millionen kleiner Dateien] (https://serverfault.com/q/6711/343888), [Welches Hochleistungs-Linux-Dateisystem ist das Speichern vieler kleiner Dateien (Festplatte, nicht SSD)?] (https://unix.stackexchange.com/q/28756/44425), [Dateisystem für viele kleine Dateien optimieren?] (https://superuser.com/q/1181868/241386), [Dateisystem große Anzahl Dateien in einem einzigen Verzeichnis] ​​(https://serverfault.com/q/43133/343888). Sie sollten jedoch klären, ob Ihre Dateien 150 oder 1,5 KB groß sind phuclv vor 5 Jahren 1
Mögliches Duplikat von [Dateisystem für viele kleine Dateien optimieren?] (Https://superuser.com/questions/1181868/optimizing-file-system-for-lots-of-small-files) phuclv vor 5 Jahren 1
@phuclv danke für den Vorschlag, ich habe die Dateigröße in der Frage korrigiert und mit dem möglicherweise doppelten Beitrag aktualisiert hirschme vor 5 Jahren 0
@phuclv ich weiß. Ich hatte nicht vor, die eigentliche Frage zu beantworten, nur den Teil zu korrigieren "Eine 4T-Partition erstellen ... hier hat ext4 Probleme". Es hat nicht GabrielaGarcia vor 5 Jahren 0

0 Antworten auf die Frage

Verwandte Probleme