hadoop报错导致flume无法写入日志文件,hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256
来源:互联网 发布:c#做windows窗口程序 编辑:程序博客网 时间:2024/05/16 05:17
hadoop报错导致flume无法写入日志文件,hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256
2013-01-21 00:00:07,721 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(127.0.0.1:50010, storageID=DS-120876865-10.4.124.236-50010-1354772633249, infoPort=50075, ipcPort=50020):DataXceiver
java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:92)
at java.lang.Thread.run(Thread.java:722)
原因分析
由于问题 出现的时间点在0点左右,因此由于flume按天归档日志文件,此时需要大量xcievers导致,先按照网上的方案修改配置再观察吧,具体方案如下
vi hdfs-site.xml
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
dfs.datanode.max.xcievers 对于datanode来说,就如同linux上的文件句柄的限制,当datanode 上面的连接数操作配置中的设置时,datanode就会拒绝连接。该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256,hadoop-defaults.xml中通常不设置这个参数。这个限制看来实际有些偏小,高负载下,DFSClient 在put数据的时候会报 could not read from stream 的 Exception。
参考资料:
http://blog.csdn.net/awayyao/article/details/7677393
http://blog.csdn.net/azhao_dn/article/details/7712912
http://labs.chinamobile.com/mblog/225_18094
问题描述:报错具体如下
2013-01-21 00:00:07,721 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(127.0.0.1:50010, storageID=DS-120876865-10.4.124.236-50010-1354772633249, infoPort=50075, ipcPort=50020):DataXceiver
java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:92)
at java.lang.Thread.run(Thread.java:722)
原因分析
由于问题 出现的时间点在0点左右,因此由于flume按天归档日志文件,此时需要大量xcievers导致,先按照网上的方案修改配置再观察吧,具体方案如下
vi hdfs-site.xml
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
dfs.datanode.max.xcievers 对于datanode来说,就如同linux上的文件句柄的限制,当datanode 上面的连接数操作配置中的设置时,datanode就会拒绝连接。该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256,hadoop-defaults.xml中通常不设置这个参数。这个限制看来实际有些偏小,高负载下,DFSClient 在put数据的时候会报 could not read from stream 的 Exception。
参考资料:
http://blog.csdn.net/awayyao/article/details/7677393
http://blog.csdn.net/azhao_dn/article/details/7712912
http://labs.chinamobile.com/mblog/225_18094
- hadoop报错导致flume无法写入日志文件,hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256
- xceiverCount 258 exceeds the limit of concurrent xcievers 256
- hadoop异常处理之exceeds the limit of concurrent xcievers 256
- hadoop java.io.IOException: Xceiver count 4097 exceeds the limit of concurrent xcievers
- flume写入hadoop hdfs报错 Too many open files
- hadoop报错日志
- hadoop启动报错-namenode无法启动-GC overhead limit exceeded
- hadoop上传文件报错
- 润乾V5报错dateset value number exceeds limit
- HP-UX执行脚本报错The specified value exceeds the user's allowable limit;Cannot create the specifie file
- Hadoop报错信息:Job not successful. Error: # of failed Map Tasks exceeded allowed limit. FailedCount: 4.
- Hadoop 之报错
- 运行hadoop报错
- hadoop编译报错
- hadoop安装报错
- Hadoop报错
- hadoop报错ConnectionRefused
- hadoop启动报错
- DUT 1009 很久以前的第一次写排序+二分
- 前沿程序员推荐的几个国外开源网站
- DUT 1006 视力表 (打印图形的模拟题)
- hdu1013 Digital Roots
- C++的多态性
- hadoop报错导致flume无法写入日志文件,hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256
- maven-android-plugin
- 代理模式-静态代理
- DUT oj1273 大侠爬山
- 用来取消鼠标右键的js
- jquery iframe处理
- 简明pyton教程学习笔记 6-10 控制流+函数+模块+数据结构+解决问题
- parseInt(String s)与valueOf(int i) 的区别
- applicationWillEnterForeground vs. applicationDidBecomeActive, applicationWillResignActive vs. appli