Kürzlich geschriebene Dateien fallen plötzlich auf 4kb - OSX

689
Hugh

Ich habe hier ein kleines Problem ...

Ich habe eine Renderfarm voller Maschinen, die auf eine zentrale Festplatte schreiben, und manchmal, nachdem eine Bildsequenz (DPX-Dateien, 12 MB pro Bild) geschrieben wurde, etwa eine Minute, nachdem jede Datei geschrieben wurde, fällt sie plötzlich ab von 12Mb bis 4kb.

Ich bin mir ziemlich sicher, dass hier nichts läuft. .

Die Anwendung, die die Dateien erstellt, ist Shake.

Dieses Problem ist schon sehr selten aufgetreten. Ich habe sicher nie herausgefunden, was es eigentlich verursacht.

Die zentrale Festplatte ist ein 10-TB-Raid, mit dem sich die Maschinen über NFS verbinden.

df -h gibt mir dazu folgendes:

clarke: / Volumes / projects 8.9Ti 7.7Ti 1.1Ti 88% / mount / projects

Also es ist nicht, wie der Platz es läuft (ich 700GB war frei, wenn es das Problem heute Abend mit begonnen, und ich habe eine Last mehr nur für den Fall freigegeben, das war etwas damit zu tun ...

Jede Hilfe wäre sehr dankbar! Ich möchte wirklich herausfinden, was das verursacht, da es mir sicherlich sehr weh tut ...

Bearbeiten:

Wenn Sie weitere Spezifikationen des Servers wünschen:

  • XServe mit OSX Server 10.5.8
  • Promise Raid VTrak E610f

Außerdem: Die Daten waren sicherlich für ein paar Minuten vorhanden. Ich habe einen Prozess gestartet, um ihn auf einen anderen Rechner zu kopieren, und der andere Rechner sieht die Bilder gut.

Mehr bearbeiten:

Gibt es ein Werkzeug, das jede einzelne Dateierstellung oder -änderung in einem Ordner (oder dem gesamten Dateisystem) verfolgt und mir genau sagt, was los ist? Ich möchte herausfinden, ob es eine Art Schurkenprozess gibt, der etwas Unartiges tut (es funktioniert meistens, also vermute ich das nicht) oder etwas niedriger als das ...

3
Haben Sie den Inhalt der 4-KB-Dateien daraufhin überprüft, was darin enthalten ist? Hat es irgendwie etwas damit zu tun, was Sie in den Dateien finden sollten? ChrisF vor 14 Jahren 0
Ja - es sieht so aus, als wären es die ersten 4k der Datei, die geschrieben wurde. Hugh vor 14 Jahren 0
Das Werkzeug zum Nachverfolgen von fs-Änderungen ist fs_usage (http://developer.apple.com/Mac/library/documentation/Darwin/Reference/ManPages/man1/fs_usage.1.html). Möglicherweise können Sie auch dtrace (http://developer.apple.com/mac/library/documentation/Darwin/Reference/ManPages/man1/dtrace.1.html) verwenden. Ich denke, 10.5 hat es unterstützt, aber ich bin mir nicht sicher, in welchem ​​Maße. Chris Johnsen vor 14 Jahren 1
Danke Chris - das ist fantastisch - ich werde das ausprobieren und sehen, ob ich es herausfinden kann. Mein einziges Problem ist, dass es nicht die ganze Zeit passiert ... Ich werde das Zeug aber so einrichten, dass ich das nächste Mal bereit bin, wenn es passiert. Hugh vor 14 Jahren 0
Oh, und Chris - fühle mich frei, das als Antwort einzureichen, und ich stimme es sicherlich zu - es löst meine Probleme vielleicht nicht, aber es ist auf jeden Fall nützlich, um sie herauszufinden. Hugh vor 14 Jahren 0
Ich wollte nur darauf hinweisen, dass 4 Kilobytes (4096 Bytes) eine übliche Clustergröße sind. Wenn ich beispielsweise eine 1-Byte-Datei auf meinem System erstelle, wird die Größe der Festplatte in 4 Kilobyte (4096 Byte) angegeben. Vielleicht verwirrt sich also irgendetwas mit dem, was das Dateisystem zum Speichern der Clusterkette dieser Datei verwendet. Bavi_H vor 14 Jahren 0
Es klingt für mich wie die Datei wird nicht richtig geschlossen, oder die Abrechnung des freien Speicherplatzes des Laufwerks wird abgespritzt. Daniel R Hicks vor 12 Jahren 0
Ich hatte einmal ähnliche Probleme. Möglicherweise erhalten Sie eine Dateinummernbegrenzung für denselben Ordner. Das kann Dinge sehr wild machen! Erstellen Sie einen neuen Ordner in einem anderen Verzeichnis und setzen Sie das Rendern dort fort. Vielleicht funktioniert .... Viel Glück! Es sieht eher nach einem merkwürdigen RAID-Konfigurationsproblem als nach einem Verwacklungsproblem aus. Es könnte auch ein Farmproblem sein, bei dem ein Computer einen Frame von einem anderen Computer beendet (wie das Schließen des Frames anderer Computer mit falscher Größe). Oh, OS X-Suchdienste könnten auch hier der Böse sein. H_7 vor 12 Jahren 0

1 Antwort auf die Frage

0
polynomial

Spezifisch für Ihre Frage nach einem Hilfsprogramm zum Überwachen der Dateiaktivität. Was Sie wollen, heißt 'opensnoop' und wird mit OS X ausgeliefert:

http://developer.apple.com/library/mac/#DOCUMENTATION/Darwin/Reference/ManPages/man1/opensnoop.1m.html

# opensnoop # (in another terminal 'touch hi') UID PID COMM FD PATH  502 146 Finder 30 /Users/thedude  502 1247 touch 3 /dev/dtracehelper  502 1247 touch 3 hi  502 141 Dock -1 /Users/thedude/Applications 502 141 Dock 9 /Users/thedude  502 141 Dock 11 /Users/thedude  502 1225 zsh 3 /var/run/utmpx  0 58 mds 9 .  502 850 mdworker 7 /Users/thedude/hi  502 146 Finder 30 /Users/thedude