Hadoop Datanode kann nicht abgerufen werden, es wurde jedoch kein Fehler angezeigt. Daher kann nicht ermittelt werden, welche Fehlerquelle vorliegt

Ich habe eine Frage. Ich mache derzeit ein Projekt zum Aufbau von Data Governance.

Ich habe bereits Master-IP und Slave1-IP miteinander verbunden. Dann habe ich SSH-Schlüssel gemacht und kopiert.

Ich glaube nicht, dass ich Fehler im Netzwerk habe.

Als nächstes versuchte ich, Hadoop wie folgt zu verwenden.

 hdfs namenode -format 

und ich habe eine Warnung erhalten

 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 

Obwohl ich ein Warnzeichen erhalten habe, glaube ich nicht, dass es ein Problem ist. Nach dem Ausführen von start-dfs.sh und start-garne kann ich jedoch auch ohne Probleme datanode erhalten

[Problem]

 [hduser@master hadoop]$ jps 3877 SecondaryNameNode 4053 ResourceManager 5166 Jps 3647 NameNode  [hduser@slave1 ~]$ jps 4423 Jps 

Kann mir jemand sagen, warum ich dieses Problem habe?

[Start-DFS und Garn ausführen]

 [hduser@master hadoop]$ start-dfs.sh 18/11/16 13:49:46 WARN util.NativeCodeLoader: Unable to load native-  hadoop library for your platform... using builtin-java classes where  applicable Starting namenodes on [master] master: namenode running as process 3647. Stop it first. slave1: starting datanode, logging to /home/hduser/hadoop/logs/hadoop-  hduser-datanode-slave1.out Starting secondary namenodes [0.0.0.0] 0.0.0.0: secondarynamenode running as process 3877. Stop it first. 18/11/16 13:49:56 WARN util.NativeCodeLoader: Unable to load native-  hadoop library for your platform... using builtin-java classes where  applicable [hduser@master hadoop]$ start-yarn.sh starting yarn daemons resourcemanager running as process 4053. Stop it first. slave1: starting nodemanager, logging to /home/hduser/hadoop-  2.9.1/logs/yarn-hduser-nodemanager-slave1.out 

Hadoop konfigurieren bekomme ich wie folgt:

[yarn_site.xml]

 <configuration>  <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>  </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>  </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value>  </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value>  </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value>  </property>  </configuration> 

[mapred_site.xml]

 <!-- Put site-specific property overrides in this file. -->  <configuration> <property> <name>mapreduce.jobtracker.address</name> <value>master:54311</value>  </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value>  </property> </configuration> 

[core_site.xml]

 <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> 

[hdfs_site.xml]

 <configuration> <property> <name>dfs.data.dir</name> <value>/opt/dfs/datanode</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/dfs/namenode</value>  </property> <property> <name>dfs.replication</name> <value>1</value>  </property>  </configuration>