The XML config was wrong:
dfs.datanode.name.dir
→ dfs.datanode.data.dir
Ich habe eine 1 TB (931 GB verwendbare) Festplatte, die ich HDFS gewidmet habe. Ich mounte es unter / hdfs. Hier ist meine hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/hdfs</value> </property> <property> <name>dfs.datanode.name.dir</name> <value>/hdfs</value> </property> </configuration>
Verwendungszweck:
% df -H /dev/sdd1 Filesystem Size Used Avail Use% Mounted on /dev/sdd1 984G 78M 934G 1% /hdfs % hdfs dfs -df -h Filesystem Size Used Available Use% hdfs://localhost 15.7 G 4 K 15.7 G 0%
Ausführung:
% hadoop version Hadoop 2.8.1 Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 20fe5304904fc2f5a18053c389e43cd26f7a70fe Compiled by vinodkv on 2017-06-02T06:14Z Compiled with protoc 2.5.0 From source with checksum 60125541c2b3e266cbf3becc5bda666 This command was run using /opt/hadoop-2.8.1/share/hadoop/common/hadoop-common-2.8.1.jar
Warum belegt HDFS nur einen Bruchteil des verfügbaren Speicherplatzes? Wie kann ich den gesamten verfügbaren Speicherplatz nutzen?
The XML config was wrong:
dfs.datanode.name.dir
→ dfs.datanode.data.dir