Wenn ich ein Einzelknotensetup mit Hadoopnur einer Festplatte benutze, kann ich sie leicht zum Spielen Hadoopund so verwenden, aber ist es Hadoopin diesem Fall von Vorteil, ein anderes Paradigma zu verwenden (Verarbeitung Pythonohne Mapreduce usw.) .)
2 Antworten auf die Frage
0
Marek Grzenkowicz
Die Leistungsfähigkeit von Hadoop beruht auf der Tatsache, dass ein verteiltes Dateisystem (HDFS) und ein verteiltes Programmiermodell (MapReduce) verwendet werden. Die Verarbeitung kann nicht in einem einzelnen Knotencluster mit einer Platte parallelisiert werden. Daher werden aufgrund des Hadoop-Overhead einfachere Paradigmen wahrscheinlich schneller sein.
Selbst bei Verwendung eines ausgewachsenen Clusters wird der Nutzen von Hadoop nicht angezeigt, wenn das Datum zu klein ist oder der Algorithmus nicht für die verteilte Verarbeitung geeignet ist (z. B. Ermittlung eines Mittelwerts).
0
NishantM
Hadoop basiert vollständig auf Distributed File System (HDFS), und hier liegt die eigentliche Macht.
Gleichzeitig ist es jedoch wichtig, den Rahmen zu erlernen und seine Komponenten zu verstehen. Aus diesem Grund bietet Hadoop drei Installationsmodi an.
Bei der Beantwortung Ihrer genauen Frage profitiert eine einzelne Festplatte nicht vom HDFS-Teil von hadoop. Aber es hilft auch beim Verständnis der MapReduce-Komponente von Hadoop.
Wenn Sie ein komplettes Konfigurationssystem haben, würde ich empfehlen, sich für die Einrichtung eines Pseudo-Clusters zu entscheiden, bei dem zwei virtuelle Maschinen mit anderen Reichweiten interagieren.