GPU-VRAM-Bandbreitenbedeutung für das Training des neuronalen Netzes

565
heavyLime

Meine Frage ist kurz: Ist die VRAM-Bandbreite einer GPU wirklich der Engpass in Bezug auf Deep Neural Networks?

Längere Version: Ein Typ namens Tim Dettmers schrieb in seinem Blog, dass alle relevanten Operationen auf dem Grafikprozessor selbst schneller sind als die Bandbreite neue Daten liefern kann. Scheint vernünftig. Aber jetzt habe ich gestern meine eigenen Epxerimente gemacht und festgestellt, dass dies bei meiner GPU nicht der Fall ist. Es ist eine Nvidia GTX 560TI mit 1 GB VRAM. Wie Sie sehen, ist die Karte ziemlich langsam und hat nicht viel VRAM. Mit AlexNet und 128x128 Bildern und einer Stapelgröße von 4 - größere passen nicht in mein VRAM -, die Situation ist wie folgt: 2200 MHz Speicheruhr: 13:34 Minuten 1650 MHz Speicheruhr: 14:17 Minuten

Fast keine Beschleunigung. 95,3% der Zeit mit 1 1/3 Speichertakt. Nun könnte es der Fall sein, dass der grahics-Prozessor in meiner Situation wirklich zu langsam ist oder die Stapelgröße zu gering ist und daher an die PCIe-Bandbreite (PCIe 2.0) gebunden ist. Ich habe es auch auf einem eigenen Netz mit ~ 1 Million Parametern und verschiedenen Losgrößen bis 1024 mit 40x40 Bildern ausprobiert. Da machte es fast keinen Unterschied.

Nach meinem nicht so repräsentativen Experiment bin ich immer noch unsicher, was für die GPU-Leistung wirklich wichtig ist.

Edit: In diesem Fall war das Framework Nvidia Digits mit Nvidia Caffe Gabel. Ich weiß, dass meine GPU sehr langsam ist, aber meine Frage bezog sich allgemein auf GPUs.

1
Ich weiß nicht, wie es Ihre spezifische Situation beeinflusst, aber Ihre Karte ist sehr langsam und verfügt nur über 384 Stream-Prozessoren. Moderne High-End-Karten haben etwa 4000. Die 5 in 560 ist der fünfte Generator und sie haben gerade ihre 10. Generation bekannt gegeben. Stream-Cores und Speichergeschwindigkeit machen einen großen Unterschied in jeder GPU-beschleunigten Software. cybernard vor 7 Jahren 0
@cybernard Danke, ich weiß, aber meine Frage war allgemein gedacht. heavyLime vor 7 Jahren 0

0 Antworten auf die Frage

Verwandte Probleme