Storm开发过程中遇到的Topology “hang"问题
来源:互联网 发布:德卡斯特里奥算法 编辑:程序博客网 时间:2024/05/16 06:23
题目中之所以用双引号标注”hang", 是因为自己碰到的问题并不是Topology程序真的hang住了,而是有其他原因。
我曾经碰到的问题大致如下: 提交Topology之后,刚开始的几小时是正常运行的,但系统处理的数据量之后会越来越少,直至变为0,就像Topology hang住一样。
总结下自己在分析解决该问题时的思路:
由于特殊原因,刚开始没条件部署Storm UI,所以走了一些弯路。
1> 数据量变为0,首先想到的是后台数据采集和缓存平台是不是有问题,包括CPU、内存和网络流量资源是否有瓶颈。
2> 若1没问题,就看Storm计算资源CPU及内存是否有瓶颈。
3> 排除1和2之后,我通过添加日志分析Topology内部逻辑,确保功能没有bug
4> 通过Storm UI, 最终发现Spout在若干小时后不能继续读取Kafka中的数据,才导致问题出现。进一步分析,是有些消息size过大,超过了storm kafka spout插件中的默认限制,才导致Spout渐渐停止工作(因为我有并发的多个Spout)。
0 0
- Storm开发过程中遇到的Topology “hang"问题
- storm 使用过程中遇到的问题
- Storm中Topology的状态
- Storm Topology的生命周期过程分析
- Storm Topology的生命周期过程分析
- storm开发遇到的问题
- 开发过程中遇到的问题总结
- 项目开发过程中遇到的问题
- P1300开发过程中遇到的问题
- 开发过程中遇到的一些问题
- delphi 开发过程中遇到的问题。
- CMMB开发过程中遇到的问题
- mybatis开发过程中遇到的问题
- Android开发过程中遇到的问题
- 开发过程中遇到的问题纪要
- Web开发过程中遇到的问题
- android开发过程中遇到的问题
- Android开发过程中遇到的问题
- Android中的Handler, Looper, MessageQueue和Thread.关系
- Unity ----- 对象池GameObjectPool
- java初学者知识小总结-01(byte数据类型赋值出错)
- unity的自动寻路之 ------ wayPoint寻路的实现方式
- unix环境高级编程----进程控制wait()
- Storm开发过程中遇到的Topology “hang"问题
- spring学习笔记(7)——spring事务管理方式
- 启动oracle服务和监听的批处理
- 1.hibernate入门
- Html5无刷新修改Url,history pushState/replaceState
- C/C++中static关键字详解
- easeljs中text控件示例
- 深入探讨 java.lang.ref 包
- Android下资源使用的方式-android学习之旅(五十三)