hadoop常见错误及处理方法
来源:互联网 发布:达内软件招聘 编辑:程序博客网 时间:2024/05/16 10:33
hadoop常见错误及处理方法
2012-03-08 11:06 202人阅读 评论(0)收藏 举报
1、hadoop-root-datanode-master.log 中有如下错误:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
导致datanode启动不了。
原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录.
格式化hdfs的命令
- hadoop namenode -format
2、如果datanode连接不上namenode,导致datanode无法启动。
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host
关闭防火墙
- service iptables stop
机器重启后,防火墙还会开启。
3、从本地往hdfs文件系统上传文件,出现如下错误:
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
解决方法:
关闭防火墙:
- service iptables stop
禁用selinux:
编辑 /etc/selinux/config文件,设置“SELINUX=disabled”
4、安全模式导致的错误
org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode
在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。
- hadoop dfsadmin -safemode leave
- hadoop常见错误及处理方法
- hadoop常见错误及处理方法
- hadoop常见错误及处理方法
- hadoop常见错误及处理方法
- hadoop常见错误及处理方法
- Hadoop常见错误及处理方法
- hadoop常见错误及处理方法
- hadoop常见错误及处理方法
- Hadoop常见错误及处理方式
- hadoop常见错误以及处理方法
- hadoop常见异常及处理方法
- Hadoop 常见出错信息及处理方法
- Hadoop 常见错误处理
- vb 常见错误及处理方法
- Storm常见错误及处理方法
- Nginx常见错误及处理方法
- LoadRunner 常见的错误及处理方法
- hadoop常见错误及解决办法!
- 浅析MySql二进制日志的应用
- datatable删除行
- 手机里的图片在相册里显示不了
- 修改DataTable某行中的某列
- 将 Linux 应用程序移植到 64 位系统上
- hadoop常见错误及处理方法
- Apache SVN forbidden 403
- Speex编/解码API手册
- shell 下 urlencode/urldecode 编码/解码的几种方法
- android TextView的使用总结
- 个平台下的mysql重启命令
- asp.net点击按钮时,按钮不在可用
- Ubuntu上无线网卡灯一直闪解决方法
- NSString / NSData 和图片之间的转换