hadoop0.20.2下相关问题处理方法

来源：互联网发布：kong audio mac 编辑：程序博客网时间：2024/06/14 03:35

Problem: NameNode is not formatted

很明显示namenode没有format

将namenode的文件夹删除，然后hadoop namenode -format

网上好多文档都只会告诉你 hadoop namenode -format 就行

namenode文件夹即dfs.name.dir指定的值

could only be replicated to 0 nodes

官方给出的解释是，在启动时上传hdfs文件时，datanode仍然在和namenode通讯

解决办法是保证有足够的datanode启动，尝试分别启动hdfs和mapred不成功

查看datanode的日志报

java.io.IOException: Incompatible namespaceIDs in /home/iic/hadoop-0.20.2/hdfs-data: namenode namespaceID = 1444851414; datanode namespaceID = 620054427

清空集群里，所有目录/home/iic/hadoop-0.20.2/hdfs-data下的东西，如果还不行就清空所有namenode,datanode文件夹，重新格式化，我就是这样搞定的

FATAL conf.Configuration: error parsing conf file: com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 2 of 2-byte UTF-8 sequence.

这是因为你的配置文件中包括中文乱码，删除即可

Shuffle Error:Exceeded MAX_FAILED_UNIQUE_FETCHES;bailing-out

有两种原因：hosts文件加入所有节点的机器名（我的就是这个问题）

两个原因就是系统允许打开的最大文件数有限制

vi /etc/security/limits.conf

增加* soft nofile 102400 * hard nofile 409600

$cd /etc/pam.d/ $sudo vi login添加 session required /lib/security/pam_limits.so

暂时就这两个问题遇到，如有持续更新