【Flume】Rpc sink XX closing Rpc client:NettyAvroRpcClient {xx} …… Failed to send events 问题解决

2015-05-12 11:27 239人阅读 评论(0) 收藏 举报

从以上截图信息，就可以看出问题了，服务端和客户端连接信息对不上，服务端有很多ESTABLISHED的连接，其实是无用的。这种情况，起初，我也很奇怪，没有发现原因，只能查看日志了。

通过日志信息，发现出现了异常，但是很奇怪，在异常信息之前，有一句Rpc sink {} closing Rpc client: {}

这里destroyConnection了，摧毁了一个连接，好端端的为什么会摧毁连接呢，从flume源码来看，flume自身不会出现这种低端的BUG吧，好端端，摧毁自己的连接干啥，所以从flume自身原因查了几天，也查不到所以然。

最终问了运维的同事，有防火墙时间限制，2小时

2小时，连接空闲，就断开连接

通过日志分析，发现基本出现异常的时候，距离上一次发送数据都是大于2小时，果然问题在这啊。

所以大家要注意，虽然这个问题，短时间可能对flume传送数据没什么影响，因为有数据来，发现没连接，会自动创建连接的，但是如果时间长了，连接会越来越多，对系统性能影响较大，所以延长防火墙的时间即可，不可能你的应用再24小时内还没有日志过来吧！