Hadoop 常见问题总结
来源:互联网 发布:西西软件盒安卓版 编辑:程序博客网 时间:2024/06/01 13:24
出现问题以后先查看日志,以下是常见的错误情况
1 地址占用
org.apache.hadoop.hdfs.server.namenode.NameNode: Address already in use
pkill -9 PID实在不行就killall -9 java
2 safemode
bin/hadoop fs -put ./input inputput: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/input. Name node is in safe mode.hadoop dfsadmin -safemode leave
解决方法:
NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。
dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式,否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。
下面这行摘录自NameNode启动时的日志(block上报比例1达到了阀值0.9990)
The ratio of reported blocks 1.0000 has reached the threshold 0.9990. Safe mode will be turned off automatically in 18 seconds.
有两个方法离开这种安全模式
(1)修改dfs.safemode.threshold.pct为一个比较小的值,缺省是0.999。
用户可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下:
enter - 进入安全模式
leave - 强制NameNode离开安全模式
get - 返回安全模式是否开启的信息wait - 等待,一直到安全模式结束。
3 could only be replicated to 0 nodes, instead of 1
hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: ... could only be replicated to 0 nodes, instead of 1 ...可能出现的现象:用jps查看进程都正常。但是用web查看的话,live nodes为0. 这说明datanode没有正常启动,但是datanode进程又启动了。
解决方法:
(1)防火墙原因
(2)磁盘空间原因
df –ah #查看磁盘空间
如果是磁盘空间不够,则调整磁盘空间(像我就是磁盘空间不够)
如果上述办法不行,用以下办法(只不过会丢失掉已有数据,请慎重使用)
- 先运行stop-all.sh
- 格式化namdenode,不过在这之前要先删除原目录,即core-site.xml下配置的<name>hadoop.tmp.dir</name>所指向的目录,删除后切记要重新建立配置的空目录,然后运行hadoop namenode -format。为了方便删除,我写了一个sh脚本来统一执行(这里连log日志文件一并删除了):
- 运行start-all.sh
- Hadoop 常见问题总结
- Hadoop 问题总结 常见问题
- Hadoop 常见问题总结
- Hadoop 常见问题总结
- Hadoop 常见问题总结
- Hadoop 常见问题总结
- hadoop使用中常见问题的总结
- hadoop面试常见问题及相关总结
- hadoop常见问题
- hadoop常见问题
- hadoop常见问题
- Hadoop常见问题
- hadoop 常见问题
- hadoop常见问题
- hadoop常见问题
- Hadoop常见问题
- Hadoop常见问题
- hadoop 常见问题
- 泛型中的模糊继承,解析T的意义
- 九度OJ 题目1192:回文字符串
- boost::asio 中async_read与async_receive的区别
- STM32一个Timer输出4路不同频率、可调占空比的PWM
- Error: no such instruction: `swpb %cl,%dl,[%edi]'
- Hadoop 常见问题总结
- JSF入门例子,显示信息
- 字符串的输入输出
- 访问WEB-INF下使用frameset标签页面出错的原因
- 超棒的 Windows 8 Metro UI 风格框架
- js 求绝对值
- Apache Options Indexes FollowSymLinks详解
- 今天的几经沧桑的飞鸽传书2011
- 全文检索等鼠标滑上去(不用点击),里面提示文字要自动消失效果的实现。