Hive Cli SocketException:Broken Pipe

来源：互联网发布：淘宝双11素材图片大全编辑：程序博客网时间：2024/05/29 19:40

上个月夜间调度出了几次java.net.SocketException:Broken Pipe的问题，如下：

看着异常第一感觉是网络或者mysql的问题，查看了那段时间的网络一切正常，mysql也没有过多连接的问题;

netstat查看metastore连接的时候发现过多的连接，而连接metastore无非CLi和Hiveserver2两种，重启了HiveServer2后连接直线减少，单独给Hiveserver2起个metastore，监测两个metastore的连接数，如下：

发现hiveserver2的连接数一直上升，可以确定达到瓶颈的时候，metastore会没有足够的内存，一直gc，接收不了新的连接导致上面的问题

查看hive jira发现一个问题如下

https://issues.apache.org/jira/browse/HIVE-9893

讲的就是hiveserver2的问题刚好也印证，这个问题除了解决bug只能达到瓶颈的时候重启这个万能的方法了

阅读全文

0 0