【Flume】Rpc sink XX closing Rpc client:NettyAvroRpcClient {xx} …… Failed to send events 问题解决
来源:互联网 发布:java发送get post请求 编辑:程序博客网 时间:2024/06/05 10:51
从以上截图信息,就可以看出问题了,服务端和客户端连接信息对不上,服务端有很多ESTABLISHED的连接,其实是无用的。这种情况,起初,我也很奇怪,没有发现原因,只能查看日志了。
通过日志信息,发现出现了异常,但是很奇怪,在异常信息之前,有一句Rpc sink {} closing Rpc client: {}
这里destroyConnection了,摧毁了一个连接,好端端的为什么会摧毁连接呢,从flume源码来看,flume自身不会出现这种低端的BUG吧,好端端,摧毁自己的连接干啥,所以从flume自身原因查了几天,也查不到所以然。
最终问了运维的同事,有防火墙时间限制,2小时
2小时,连接空闲,就断开连接
通过日志分析,发现基本出现异常的时候,距离上一次发送数据都是大于2小时,果然问题在这啊。
所以大家要注意,虽然这个问题,短时间可能对flume传送数据没什么影响,因为有数据来,发现没连接,会自动创建连接的,但是如果时间长了,连接会越来越多,对系统性能影响较大,所以延长防火墙的时间即可,不可能你的应用再24小时内还没有日志过来吧!
0 0
- 【Flume】Rpc sink XX closing Rpc client:NettyAvroRpcClient {xx} …… Failed to send events 问题解决
- 【Flume】Rpc sink XX closing Rpc client:NettyAvroRpcClient {xx} …… Failed to send events 问题解决
- spark on yarn(ERROR client.TransportClient: Failed to send RPC)
- svc: failed to register lockdv1 RPC service (errno 111) 问题解决
- [RPC Fault faultString="Send failed" faultCode="Client.Error.MessageSend"
- RPC Fault faultString="Send failed" faultCode="Client.Error.MessageSend" 解决方案
- RPC Fault faultString="Send failed" faultCode="Client.Error.MessageSend"
- [VxW]Unable to add route to xx.xx.xx.xx; errno = 0xffffffff.问题解决
- Mac下showmount出错: Cannot retrieve info from host: 172.16.96.130: RPC failed:: RPC: Unable to send
- [RPC Fault faultString="Send failed" faultCode="Client.Error.MessageSend" faultDetail="Channel.Connect.Failed error NetConnectio
- [RPC Fault faultString="Send failed" faultCode="Client.Error.MessageSend" faultDetail="Channel.Connect.Failed error NetC
- IntelliJ maven项目pom文件错误failed to read artifact descriptor for xx.jar问题解决办法
- failed to read artifact descriptor for xx
- XX
- xx
- xx
- xx
- XX
- C#生成XML的三种途径小结
- 关于 Azure 存储帐户(2)
- 表达式编辑
- Gradle探索(1)-简介
- java.lang.IllegalStateException
- 【Flume】Rpc sink XX closing Rpc client:NettyAvroRpcClient {xx} …… Failed to send events 问题解决
- Spring-----15、资源访问
- Servlet自学第5讲:Tomcat目录结构
- C/C++上二维数组的两种动态分配内存方法
- android跨进程事件注入(程序模拟用户输入)
- 欢迎使用CSDN-markdown编辑器
- 流行的jquery 提示插件 tip
- Android中StatFs获取系统/sdcard存储(剩余空间)大小
- 项目管理心得:一个项目经理的个人体会、经验总结