Hadoop集群搭建及测试过程中碰到的问题汇总

提示hadoop命令不存在

方法1、环境变量配置上，主要是/etc/profile

方法2、要在bin的上级目录下执行bin/hadoop 命令

在Hadoop2.x版本中，集群启动后，没有JobTracker和taskTracker这两个java进程

----------------------------------------------------------------------------------------

hadoop集群只有一个datanode启动问题

首先，之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode

注：clusterID在/usr/local/Hadoop/hdfs/name/current目录下；

解决方案1：修改Shadoop1 和 Shadoop2 的data/current目录下的VERSION文件，将clusterID修改一致即可；

解决方案2：删除了tmp，logs，hdfs/data，hdfs/name 目录下的所有文件；

    重新格式化namenode： bin/hadoop namenode -format；重启集群；

-----------------------------------------------------------------------------------------

运行WordCount.java
在hdfs上创建 input目录，并把本地两个文件put到目录中,path代表本机中的目录
bin/hadoop fs -mkdir -p path/input

bin/hadoop fs -put -f path/file1.txt path/file2.txt path/input

执行jar文件，指定数据源和输出目录

bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jarwordcount hdfs://master:9000/share/hadoop/mapreduce/examples/wordcount/input $HADOOP_HOME/share/hadoop/mapreduce/examples/wordcount/output(此命令中我使用的是绝对路径) 

注意：如果报的错是：Unknown program 'WordCount' chosen.  要注意程序名小写为wordcount 

查看hdfs目录
bin/hadoop fs -ls hdfs://master:9000/或
bin/hadoop fs -ls /
查看结果
bin/hadoop fs -cat $HADOOP_HOME/share/hadoop/mapreduce/examples/wordcount/output/part-r-00000(此命令中我使用的是绝对路径)