Hadoop集群搭建过程中的常见问题（一）

Hadoop 集群搭建常见问题

本人近期也一直在搭建Hadoop的相关环境，包括hadoop的搭建、zookeeper的搭建已经hbase的部署，这过程中也遇到了形形色色的问题，中间的过程也是十分的抓狂。在这里和大家分享一些自己的问题，希望对大家有所帮助，先列出三个供大家参考：

1. “Agent admitted failure to sign using the key”

  该问题是在建立集群ssh通信的过程中会出现的问题。在搭建hadoop集群的过程中，需要保持各个节点之间的无密ssh连接，首先需要设置一个主节点的ssh密钥，这个报错可能就出现在建立各节点之间无密通信的过程中。 错误提示：Agent admitted failure to sign using the key. 解决方法：使用 ssh-add 指令将私钥 加进来 （根据个人的密匙命名不同更改 id_rsa）：

 ssh-add   ~/.ssh/id_rsa 

2.“Incompatible clusterIDs”

  该问题是在搭建Hadoop集群，启动HDFS的过程中可能出现的问题。 错误提示：java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = xxxxxxxxxx 出错的原因：hadoop的升级功能需要data-node在它的版本文件里存储一个永久性的clusterID,当datanode启动时会自动检查并匹配namenode的版本文件里的clusterID,如果两者不匹配，就会出现"Incompatible clusterIDs"的异常。 每次namenode format会生成一个新的namenodeId,而data目录包含了上次format时的id,namenode format清空了namenode下的数据,但是没有格式化datanode下的数据，就会出现”java.io.IOException:Incompatible namespaceIDs“异常 解决方法：方法1：停掉集群，删除问题节点的data目录下的所有内容。即hdfs-site.xml文件中配置的dfs.data.dir目录。并且重新对namenode格式化。 方法2：停掉集群，然后将datanode节点目录/dfs/data/current/VERSION中的修改为与namenode相应文件中的一致 注：不要将data目录本身删除

3.“name or service not known”

  该问题同样是在建立ssh连接时出现的问题 错误提示： ssh: Could not resolve hostname XXXXXXXX: Name or service not known 解决方法：方法1：将以下代码写在你的.bashrc文件中：

#HADOOP VARIABLES STARTexport JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64export HADOOP_INSTALL=/usr/local/hadoopexport PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALLexport HADOOP_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib/native"#HADOOP VARIABLES END

之后在执行下列指令：

sudo apt-get install apache2

 方法2：修改你集群节点上etc/hadoop/hadoop-env.sh：

export HADOOP_OPTS="$HADOOP_OPTS -XX:-PrintWarnings -Djava.net.preferIPv4Stack=true"