HBase+HDFS出现的SocketTimeoutException错误
来源:互联网 发布:网络电视如何看翡翠台 编辑:程序博客网 时间:2024/05/16 15:29
HBase的SocketTimeoutException错误,这个是在HBase子节点中时常报的错误,如图:
但是却没有影响集群运行,在网上搜集了很多资料,一直觉得这也是hdfs端错误造成的,查看hadoop中datanode子节点日志,意外发现这里面时常也会出现:
查看了网上很多说明,最终都归结到dfs.socket.timeout这个配置项中来了,都说要同时在hdfs和hbase的配置文件中设置这个项,据说设180秒,可是设置完了发现还是不行,4800000毫秒秒这个错误还是未改变,按理再报错误应该是1800000毫秒超时了。一次偶然情况下,终于发现这两个问题的根源。
第一个是HBase中的错误,配置调大hbase.rpc.timeout这个值即可避免,HBase默认的是60秒。而第二个,一直以来都考量不出480秒是从哪里来的,后来发现这个配置超时时间是由dfs.datanode.socket.write.timeout这个配置项决定的,默认是8分钟,已经够大了,但是面对hbase高速的数据插入感觉还是不行啊,所以可以适当调大。同时还可以配置dfs.datanode.handler.count,默认为10,调大这个datanode处理线程数,应该就可以缓解这个问题了。这也是HBase性能调优的一点内容吧。
至于这个dfs.socket.timeout我目前为止,还是不了解,待后期更新吧,之所以一开始会想到更改它是出自这篇博客,见如下:http://heipark.iteye.com/blog/1485323,唯一的不同大概它是ready for read,而我这边是ready for write吧。后期再继续阅读源码吧,解决了再来更新。
- HBase+HDFS出现的SocketTimeoutException错误
- 在大并发写时,HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决
- 在大并发写时,HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决
- 在大迸发写时,HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决
- Hbase安装出现的错误
- 在编译hbase代码出现的错误
- 出现连接超时SocketTimeoutException后一直连接不上的
- 运行hdfs的wordcount程序时出现的错误
- spark读写hdfs后出现的异常错误
- HBase暴力删除HDFS数据后建表出现Table already exist问题的解决
- hbase中出现unknown table错误的解决办法
- 我在hadoop+zookeeper+hbase配置中出现的错误
- SocketTimeoutException
- HBase 数据文件在HDFS上的存储
- HBase 数据文件在HDFS上的存储
- HBase基于HDFS的伪分布式配置
- hbase的集群应用(基于hdfs)
- HBase 数据文件在HDFS上的存储
- 深入理解PHP原理之Opcodes
- hash table
- C#将datatable导出到excel
- system.out.println触发联想
- L6:Map、HashMap、遍历的两种方式
- HBase+HDFS出现的SocketTimeoutException错误
- LintCode-删除排序数组中的重复数字 II
- Spring学习(六)spring整合注解形式的hibernate
- Percona XtraBackup User Manual 阅读笔记
- poj 1845 Sumdiv(二分递归求等比数列+素因子分解)
- 如何让一部全新的 MacBook 快速完成开发环境配置
- 安装Matlab JPEG Toolbox
- 欢迎使用CSDN-markdown编辑器
- LoadRunner脚本中的乱码问题以及解决办法