Hadoop运行mapreduce实例时,抛出错误 All datanodes are bad. Aborting…
来源:互联网 发布:淘宝 返现 网站 编辑:程序博客网 时间:2024/05/17 01:15
Hadoop运行mapreduce实例时,抛出错误
ava.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1889)
java.io.IOException: Could not get block locations. Aborting…
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2143)
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1889)
经查明,问题原因是linux机器打开了过多的文件导致。
用命令ulimit -n可以发现linux默认的文件打开数目为1024
修改/ect/security/limit.conf,
增加hadoop soft 65535
(网上还有其他设置也可以一并设置)
再重新运行程序(最好所有的datanode都修改)
问题解决
0 0
- Hadoop运行mapreduce实例时,抛出错误 All datanodes are bad. Aborting…
- Hadoop运行mapreduce实例时,抛出错误 All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…
- Hadoop运行mapreduce实例时,抛出错误 All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…
- hadoop中mapreduce框架运行错误
- "Hadoop集群运行时总是抛出Child
- hadoop下运行WordCout单词计数抛出错误
- 运行hadoop MapReduce程序常见错误及解决方法整理
- 运行hadoop MapReduce程序常见错误及解决方法整理
- 运行hadoop MapReduce程序常见错误及解决方法整理
- Hadoop问题之mapreduce运行时异常
- hadoop MapReduce实例解析
- hadoop MapReduce实例解析
- hadoop之mapreduce实例
- hadoop MapReduce实例解析
- hadoop MapReduce实例解析
- hadoop MapReduce实例解析
- hadoop MapReduce实例详解
- hadoop MapReduce实例解析
- Python初学者的17个技巧
- 解决VB6在WIN10环境无法安装问题
- hadoop Unhealthy Nodes问题解决
- C#控件及常用属性整理【详细版】
- Linux前台的程序转到后台执行(并且关闭终端而不杀死命令)
- Hadoop运行mapreduce实例时,抛出错误 All datanodes are bad. Aborting…
- Python-2.7安装Scrapy 1.0爬虫实例
- Kafka监控--KafkaOffsetMonitor安装部署
- Hadoop平台关闭THP解决服务器高负载问题
- 使用SSH设置映射端口跳转,解决网络限制问题
- hive job 提示Invalid sync和 无法分配内存 报错处理
- wait和waitpid详解
- Codis2.0搭建部署
- android textview 分段设置文字颜色