hadoop常见错误及处理方法

如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。

无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。

1、hadoop-root-datanode-master.log 中有如下错误：

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
导致datanode启动不了。

原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录.
格式化hdfs的命令

Shell代码  

1. hadoop namenode -format  

2、如果datanode连接不上namenode，导致datanode无法启动。
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host
关闭防火墙

Shell代码  

1. service iptables stop  

机器重启后，防火墙还会开启。


3、从本地往hdfs文件系统上传文件，出现如下错误：
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink

INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023

WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.

解决方法：
关闭防火墙：

Shell代码  

1. service iptables stop  

禁用selinux:
编辑 /etc/selinux/config文件，设置“SELINUX=disabled”

4、安全模式导致的错误
org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode
在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。

Java代码  

1. hadoop dfsadmin -safemode leave  

  关闭安全模式

5、以本地模式运行hadoop时，抛异常
ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.net.UnknownHostException: hadoop: hadoop: Name or service not known
Exception in thread "main" java.net.UnknownHostException: hadoop: hadoop: Name or service not known

把/etc/hostname文件中的主机名加入到/etc/hosts文件中，问题解决。

6、格式化hdfs文件系统时，出错：
Format aborted in /home/hadoop/dfs/name

/home/hadoop/dfs/name 是 dfs.name.dir 配置的本地路径，把这个目录删除，
再格式化就可以了。

7、datanode无法启动，datanode的日志中有error：
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid

发现日志前一行有warn：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permissi    on for /home/hadoop/dfs/data, expected: rwxr-xr-x, while actual: rwxrwxr-x

按照日志修改了目录的访问权限，问题解决。

8.hadoopdatanode启动不起

例如：

NameNode和DataNode的namespaceID不一致，这个错误是很多人在安装时会遇到的，日志信息为：

Java.io.IOException: Incompatible namespaceIDs in/root/tmp/dfs/data:

NameNode namespaceID = 1307672299; DataNode namespaceID =389959598

 

若HDFS一直没有启动，读者可以查询日志，并通过日志进行分析，以上提示信息显示了NameNode和DataNode的namespaceID不一致。

这个问题一般是由于两次或两次以上的格式化NameNode造成的，有两种方法可以解决，第一种方法是删除DataNode的所有资料（及将集群中每个datanode的/hdfs/data/current中的VERSION删掉，然后执行hadoopnamenode-format重启集群，错误消失。<推荐>）；第二种方法是修改每个DataNode的namespaceID（位于/hdfs/data/current/VERSION文件中）<优先>或修改NameNode的namespaceID（位于/hdfs/name/current/VERSION文件中），使其一致。

 

下面这两种方法在实际应用中也可能会用到。

 

1）重启坏掉的DataNode或JobTracker。当Hadoop集群的某单个节点出现问题时，一般不必重启整个系统，只须重启这个节点，它会自动连入整个集群。

 

在坏死的节点上输入如下命令即可：

bin/Hadoop-daemon.sh start DataNode 

bin/Hadoop-daemon.sh start jobtracker

 

2） 动态加入DataNode或TaskTracker。这个命令允许用户动态将某个节点加入集群中。

 

bin/Hadoop-daemon.sh --config ./conf startDataNode 

bin/Hadoop-daemon.sh --config ./conf start tasktracker

9.强行关机或hadoop意外中断会出现这种错误:

not start task tracker because java.io.IOException: Failed to set permissions o
f path: \app\hadoop\tmp\mapred\local\ttprivate to 0700

source name ugi already exists

重新格式化也不行，总是提示 Re-format filesystem in

删除hadoop节点的data临时目录，就是core-site.xml的hadoop.tmp.dir配置的那个系统文件目录, 注意，不是hdfs的那个目录（hls -ls 看到的那个目录），必须是操作系统直接看到的那个临时目录。然后重新格式化就可以解决问题。

10. 错误：Format aborted in /usr/local/hadoop/hdfsconf/name，启动后发现发现http://das0:5007无法显示。

将/data0/hadoop-name文件夹整个删除。然后再格，成功！！！

在对namenode格式化之前，要确保dfs.name.dir参数指定的目录不存在。

Hadoop这样做的目的是防止错误地将已存在的集群格式化了

11.2013-05-13 16:18:18,624 WARNorg.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugialready exists!2013-05-13 16:18:22,916 ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:java.io.IOException: Call to /222.25.189.41:9000 failed on localexception: java.io.IOException:

重新格式化还是不能解决。

解决办法：手动删除hadoop.tmp.dir属性下的所有文件和目录，然后重新格式化即可

12.ERROR namenode.NameNode: java.io.IOException: Cannot create directory /export/home/dfs/name/current
ERROR namenode.NameNode: java.io.IOException: Cannot remove current directory: /usr/local/hadoop/hdfsconf/name/current
原因是 没有设置 /usr/hadoop/tmp 的权限没有设置， 将之改为：

chown –R hadoop:hadoop /usr/hadoop/tmp
sudo chmod -R a+w /usr/local/hadoop