Erstellen eines Heimclusters - Hardware- und Kostenanalyse

9993
Rook

Kennt jemand ein paar Links / Bücher / irgendetwas, an das Sie denken können, das den Aufbau eines kleinen Heimclusters beschreibt (wenn ich zu Hause sage, bedeutet das nicht zwangsläufig, dass Sie zu Hause bleiben - es bedeutet nur, dass es relativ billig und klein ist) zu experimentellen Zwecken, mit besonderem Schwerpunkt darauf, welche Hardware heute geeignet ist, und eine Art Kostenanalyse?

Wenn jemand hier etwas getan hat, würde ich mich über all die Erfahrungen freuen, die Sie teilen können.

14
Was für ein Cluster? SQL Cluster? Webfarm Farm rendern? Dies sind wichtige Details bei der Spezifikation der Hardware. tsilb vor 14 Jahren 2
Numerische Berechnung CFD (nicht viel ins Detail gehen) - Parallelisierung von Fortran-Code. Rook vor 14 Jahren 1

7 Antworten auf die Frage

8
churnd

Helmer kommt mir in den Sinn. :)

OK, das ist eine wirklich nette Seite, und mein armer DeCeleron 4node-Cluster erscheint unbedeutend. Bill B vor 14 Jahren 1
Tolle Seite! Ich liebe das IKEA-Kabinett :) (vielleicht nicht die beste Lösung, aber trotzdem süß) Rook vor 14 Jahren 0
Dies ist eine CPU-basierte Renderfarm. Es sind 6 Intel Quad Core-Maschinen, die von IKEA in einen Aktenschrank gestellt werden (Produktname ist Helmer). Anscheinend hat der Schrank auf der Rückseite Löcher (nicht von IKEA), die die Montage eines Netzteils und eines Lüfters an 6 Stellen ermöglichen. dlamblin vor 14 Jahren 0
4
Drew Stephens

Es gab ein paar Ikea-Cluster auf Hack A Day:

3
Nathan DeWitt

Schauen Sie sich die Bücher Beowulf Cluster Computing von Thomas Sterling an (eines für Linux und eines für Windows). Sie sagen Ihnen alles, was Sie über die Verwendung von MPI wissen müssen, damit Ihre Knoten miteinander sprechen können.

Ein Freund und ich bauten ein Cluster von 8 Boxen mit wirklich beschissener Hardware und liefen Windows XP darauf. Diese waren wie Pentium I - 90 MHz Boxen. Unter den für Windows erforderlichen Spezifikationen, aber es lief gut. Wir haben auch SQL Server 2000 auf ihnen ausgeführt (auch weit unter den empfohlenen Spezifikationen) und einige Modellierungsmodelle für die Aktienoptionen für sie erstellt.

Es ist schwierig zu empfehlen, welche Hardware geeignet ist, ohne zu wissen, was Sie mit Ihrem Cluster tun möchten. Die Quintessenz ist jedoch, dass Sie einen Cluster aus fast allem erstellen können.

Würdest du es nicht glauben, ich habe gestern genau diesen Titel bestellt! Jetzt warte ich auf die Ankunft :) Pentium 90 - wow, das ist alt. Wie lief es glatt oder mit Störungen? Könnten Sie einen Vergleich mit einem modernen Äquivalent geben? Das ist übrigens eine ziemlich gute Idee für das, was ich versuche, da diese Art von Hardware heutzutage praktisch kostenlos erhalten werden kann (sowieso absolut billig). Ich versuche, es zu bauen, um etwas Code zu parallelisieren, also experimentiere ich gleichzeitig mit dem Code und dem Hardwareteil. Es ist ein Lernversuch, um zu sehen, wie es verläuft. Rook vor 14 Jahren 0
Die Kosten für den Betrieb derartiger alter Hardware sind in Bezug auf Leistung / Arbeit sehr hoch. Mehrere 90-MHz-Maschinen benötigen viel Strom, um das Arbeitsäquivalent einer effizienteren Einzelmaschine zu erzeugen. Ich bin an Ihrem Projekt interessiert, aber ... seien Sie sich dessen bewusst, dass es auf interessante Weise kostspielig sein kann ... =] David Thomas vor 14 Jahren 1
Leistung war in Ordnung. Es war ein Projekt für die Schule, und unsere Hardware war alles, was die Schule vor sich hatte. Wir haben uns auch nicht um Machtprobleme gekümmert, aber Ricebowl ist absolut richtig. es waren laute Monster. Nathan DeWitt vor 14 Jahren 0
@ricebowl - An diesem Punkt ist das kein Problem. 90MHz sind eine gute Idee, da wir sie herumliegen ließen, also keine Kosten. Elec. ist auch kein Problem, da das Unternehmen es bezahlt, die von Computern verbrauchte Leistung ist dort vernachlässigbar. An diesem Punkt lerne ich die Grundlagen, neue Hardware kann bei Bedarf jederzeit bezogen werden. Rook vor 14 Jahren 0
@Nathan DeWitt - Lautheit ist auch kein Thema. Ich mache mir nichts aus dem Sound (schien mir immer beruhigend zu sein), und sowieso ist niemand in der Nähe. Rook vor 14 Jahren 0
2
Troggy

Eine Alternative zu vielen physischen Clusterknoten ist das Erstellen von virtuellen Maschinen. Sie hätten nur eine oder zwei tatsächliche physische Maschinen, könnten aber simulieren, dass sie viel mehr Knoten haben. Dies würde gut zum Erstellen, Lernen und Verwenden weniger Ressourcen (Platz, Energie, $$$) funktionieren.

Das würde Ihnen keine Kostenanalyse bringen, aber Sie würden damit anfangen. Die Art der Clustereinrichtung hängt von der Art der Arbeit ab, die Sie für sie erstellen möchten. Sie können viele kleine Knoten oder nur wenige leistungsfähige Knoten haben. Es gibt auch Umgebungen mit gemeinsamem und nicht gemeinsam genutztem Speicher, die berücksichtigt werden müssen. Welche Art von Parallelprogrammen möchten Sie erstellen? Je mehr physische Knoten Sie haben, desto mehr Platz, Leistung, Kühlung und Netzwerkkonnektivität müssen Sie berücksichtigen. Manchmal ist nur ein einziger großer Computer der richtige Weg (und Shared-Memory-Umgebungen sind für IMHO einfacher zu programmieren).

Ich habe vor kurzem angefangen, mit einem Cluster zu spielen, ein paar zufällige P4-Boxen, Ubuntu und LAM-MPI. Es war definitiv eine Lernerfahrung.

Es waren eigentlich ein paar P4-Laptops und Türme, die in einer Garage gestapelt wurden. Es war Ghetto, aber ich wollte nur lernen. Ich habe gerade ein 100 Mbps Ethernet-Netzwerk verwendet. Ich habe mich für Ubuntu entschieden, weil ich mich nicht mit der Hardware-Konfiguration der Boxen beschäftigen wollte. Ubuntu hatte viele Treiber, die ich brauchte. Ich brauchte eine Linux-Umgebung, da die Anwendungen, die ich dafür geschrieben habe, C-basierte Anwendungen mit MPI-Schnittstellen waren. Ich habe versucht, das, was ich zuvor benutzt hatte, zu replizieren. Es war alles anders. Hardware, nichts Standard. Die meisten Cluster verfügen über exakte Hardware, sodass Sie Knoten schnell hinzufügen und entfernen können.

Nun, ich habe eine große Anzahl alter Arbeitsplätze zur Verfügung. Von den frühen Pentien bis zu den 266 MHz. Raum und Kraft bekam ich reichlich. Lärm ist auch kein Problem, er ist nicht in der Nähe von Menschen (ja, nur für den Fall, dass Sie sich fragen, ich betrachte mich nicht als ein Mitglied der Menschheit) :) Neue Hardware kann später immer bei Bedarf erworben werden, aber jetzt habe ich Ich versuche, unnötige Kosten zu vermeiden, wenn ich mit diesen spielen kann. Ich versuche, einen (nicht alten) Fortran-Code (CFD, FVM) zu parallelisieren. An diesem Punkt beschäftige ich mich hauptsächlich mit der Hardware-Montage, den Prinzipien des Betriebssystems und dem allgemeinen Überblick Rook vor 14 Jahren 0
Virtualisierung ist wenig nützlich, wenn es um CPU-gebundene numerische Berechnungen geht. Tadeusz A. Kadłubowski vor 14 Jahren 0
Wenn ich nicht zu viel frage, wie haben Sie sie miteinander verbunden (nicht nur die Einbauten, sondern wo haben Sie sie hingestellt (großer Turm? Kühlungsprobleme?))? Warum Ubuntu? Rook vor 14 Jahren 0
@Idigas hat meiner Antwort einen Absatz hinzugefügt. Troggy vor 14 Jahren 0
1
timday

Je nachdem, was Sie versuchen, können Sie Ihr System in einem Cluster von virtuellen Maschinen entwickeln. Wenn Sie eine OS-Virtualisierungslösung wie OpenVZ oder Virtuozzo oder Solaris Containers von Parallel verwenden, können Sie im Vergleich zur vollständigen Systemvirtualisierung (z. B. VirtualBox / VirtualPC / Xen / VMWare) eine enorme Dichte erreichen. Wenn Sie das System für eine gewisse Leistung tatsächlich bereitstellen müssen, führen Sie es "in der Cloud" auf Amazons EC2 oder ähnlichem aus.

Ich hatte gehofft, einige ältere Hardware, die ich zu diesem Zeitpunkt herumgelegt hatte, wiederzuverwenden, daher ist Virtualisierung für mich nicht so attraktiv. Rook vor 14 Jahren 0
1
warren

Zuerst würde ich mir die Projekte LittleFE ( http://littlefe.net/ ) oder Bootable Cluster CD ( http://bccd.net/ ) persönlich ansehen . Siehe auch das Ubuntu Cloud-Projekt ( http://www.ubuntu.com/cloud ).

Mehr oder weniger sollte Hardware funktionieren. Ich wäre geneigt, sich irgendeine Form von Close-Out-Deal oder Maschinen anzusehen, die aus Leasing kommen, um billige Hardware zu kaufen.

0
Jimmy Hedman

Schauen Sie sich Rocks an, eine Cluster-Distribution, die das Erstellen von Clustern sehr einfach macht. Es skaliert auch auf mindestens einige hundert Knoten.

Verwandte Probleme