Schwankende Übertragungsgeschwindigkeiten mit md RAID5 / vsftpd

966
Der Hochstapler

Ich habe einen Ubuntu 8.04.4 Server mit einem md RAID5 bestehend aus 9 Laufwerken. Bei der Übertragung einer großen Datenmenge (durch vsftpd) habe ich sehr schlechte Übertragungsgeschwindigkeitsschwankungen festgestellt.
Während der Übertragung eines 20-GB-Archivs würde beispielsweise jedes Paar von 100 MB die Übertragung für einige Sekunden vollständig anhalten. Dann würde es wieder ~ 55MB / s betragen. Und das würde sich immer und immer wieder wiederholen. Ich habe eine Gesamtübertragungsgeschwindigkeit von 10 MB / s.
Der Server befindet sich in demselben 1-Gb-LAN wie der Computer, an dem ich arbeite. Ich gehe also davon aus, dass das LAN nicht das Problem ist.
Ich habe dieses Verhalten in der Vergangenheit mehrmals auf diesem Server beobachtet, wenn große Datenmengen übertragen werden müssen (über 200 MB).

Mit Blick auf die Ausgabe von iostat, topoder unsere Cacti Graphen geben Sie mir keinen Hinweis auf das, was dieses Problem verursachen könnte.

Jede Idee, wie man ein Problem wie dieses diagnostizieren kann, wäre dankbar.

1

3 Antworten auf die Frage

0
user55325

Um ehrlich zu sein, würde ich keine FTP-Übertragungen verwenden, um die Geschwindigkeit zu messen - es ist ein veraltetes Protokoll, und ich wäre nicht überrascht, wenn es Sie langsamer machen würde.

Können Sie ein Verzeichnis mit NFS exportieren und versuchen, die Dateien auf diese Weise zu übertragen?

Klar, das könnte ich tun. Es wäre hilfreich zu sehen, ob das Problem mit `vsftpd` oder den darunter liegenden Ebenen zusammenhängt. Im Allgemeinen habe ich dieses Problem jedoch nicht bei anderen Servern (auf die ich über FTP zugreife). Ich sollte es also mit dem aktuellen Setup (hoffentlich) beheben können. Der Hochstapler vor 13 Jahren 0
Ok, ich habe es mit einer Samba-Freigabe probiert. Gleiches Verhalten Ich denke nicht, dass dieses Niveau hier das Thema ist. Der Hochstapler vor 13 Jahren 0
Nun, ich bin verblüfft. Es tut uns leid. user55325 vor 13 Jahren 0
0
Saurabh Barjatiya

Sowohl FTP als auch Samba verwenden keine Komprimierung. Verwenden Sie rysnc mit --progress und -Z-Flags, damit die Komprimierung verwendet und der Fortschritt gemeldet wird.

Wenn es sich bei einer großen Datenmenge nicht um eine große Anzahl von Dateien, sondern um wenige Dateien mit einer großen Größe (> 2 GB) handelt, könnte das Problem mit spärlichen Dateien zusammenhängen.

Überprüfen Sie auch 'more / proc / mdstat', wenn die Geschwindigkeit niedrig ist, um sicherzustellen, dass die Geschwindigkeit aufgrund der erneuten Synchronisierung des MD-Arrays nicht zu niedrig ist.

Ich habe eine Schnittstelle mit dem Server, normalerweise von Windows-Arbeitsstationen aus (also kein Rsync). Das Problem kann auch bei der Übertragung einer großen Anzahl kleiner Dateien beobachtet werden (das Gesamtdatenvolumen scheint hier wichtig zu sein). Ich habe "mdstat" während des Transfers überprüft. da ändert sich nichts. Der Hochstapler vor 13 Jahren 0
0
Der Hochstapler

Ich habe immer noch keine Ahnung, was die Ursache des Problems war. Am Ende hatte ich den Verdacht, dass die CPU des Systems zu schwach ist (hoher Lastdurchschnitt, hohe CPU-Last).

Heute habe ich das System auf Ubuntu 10.04 aktualisiert und das Problem scheint sich gelöst zu haben. Die Leistung ist immer noch nicht so stabil, wie ich es mir gewünscht hätte, im Durchschnitt hat sie sich jedoch mindestens um den Faktor 10 verbessert.

Verwandte Probleme