Speicherwechsel für einen 128 GB RAM-Job auf 24 GB RAM-Computer

386
florent teppe

Um maschinelles Lernen zu erledigen, muss ich ein Modell für meine Sprache trainieren. Da sie nur Englisch, Deutsch und Spanisch anbieten, raten sie, den Wikipedia-Korpus zu nehmen und das Modell damit zu trainieren.

Das Problem ist, dass sie 128 GB RAM empfehlen. Die Maschine, auf der ich es trainieren würde, hat 24 GB RAM und weniger als 100 GB freien Festplattenspeicher.

Kann ich einen Swap machen, der die gesamte Festplatte ausfüllt? Da 75% des RAMs auf der Diskette vorhanden sind, wird der Job wahrscheinlich 100% länger dauern (nein, man sagt schon mehr als einen Tag auf einer guten Maschine).

Ist es sinnvoll, einen 24-GB-Computer mit hauptsächlich Swap-Speicher auszuprobieren, oder sollte ich nach einer AWS-VM suchen, die die richtigen Anforderungen von Anfang an hat?

0
"100% länger" ist eine riesige Untertreibung. Der Plattenwechsel ist so langsam (besonders wenn Sie sich auf einer Festplatte befinden), Sie sehen wahrscheinlich mindestens 1000% länger aus. Sogar das könnte um eine Größenordnung oder zwei sein. Bob vor 6 Jahren 3
Ok, es ist wahrscheinlich keine vernünftige Lösung. Danke, ich werde nach einer anderen Maschine oder einem bereits trainierten Modell suchen. florent teppe vor 6 Jahren 0
@ Bob aus Erfahrung (ein 3 Sekunden dauernder Matlab-Job, der nach einer automatischen Codierung in C über 30 GB Speicher auf einem System mit 4 GB RAM benötigt) war ein Faktor von etwa 700. Natürlich hängt dies davon ab, was genau ausgeführt wird. Und wenn es ungefähr einen Tag auf einer "guten Maschine" dauert, würden Sie damit auch noch zwei Jahre Ausbildung verbringen ... Sie könnten fast eine anständige (genug) Maschine für den Job kaufen und dabei die Stromkosten einsparen. Baldrickk vor 6 Jahren 0

0 Antworten auf die Frage

Verwandte Probleme