Storm性能优化
来源:互联网 发布:如何培养编程思维 编辑:程序博客网 时间:2024/06/09 21:03
如何找到Topology的性能瓶颈?
性能优化的第一步就是找到瓶颈在哪里,从瓶颈处入手,解决关键点问题,事半功倍。
除了通过系统命令查看CPU使用,jstack查看堆栈的调用情况以外,还可以通过Storm自身提供的信息来对性能做出相应的判断。
在Storm 的UI中,对没过topology都提供了相应的统计信息,其中有三个参数对性能来说参考意义比较明显,包括Execute latency,Process latency和Capacity。
分别看一下三个参数的含义哈!
·Execute latency:消息的平均处理时间,单位是毫秒。
·Process latency:消息从收到到被ack掉所花费的时间,单位为毫秒。如果没有启用Acker机制,那么Process latency的值为0。
·Capacity:计算公式为Capacity = Bolt 或者 Executor 调用 execute 方法处理的消息数量 × 消息平均执行时间/时间区间。如果这个值越接近1,说明Bolt或者 Executor 基本一直在调用 execute 方法,因此并行度不够,需要扩展这个组件的 Executor数量。
Execute latency,Process latency是处理消息的时效性,而Capacity则表示处理能力是否已经饱和。从这3个参数可以知道Topology的瓶颈所在。
0 0
- Storm 性能优化
- Storm性能优化
- Storm性能优化
- storm性能优化(二)
- Storm+Redis性能优化问题
- Storm 使用经验与性能优化(一)
- Storm 使用经验与性能优化(二)
- storm性能测试报告
- storm优化topology思路
- Storm优化心得
- storm并行度优化
- storm-优化总结
- Storm Topology的性能瓶颈
- Storm-Kafka-Hbase 性能问题
- Storm Topology 一种优化思路
- 性能优化
- 性能优化
- 性能优化
- 预编译头文件来自编译器的早期版本_Debug
- iOS 项目中包含多个 FFMPEG 方法冲突的通用解决办法。
- Jsonp解决ajax跨域问题
- PHPStorm Please configure PHP Interpreter to use built-in web server
- Emmet基本使用方法
- Storm性能优化
- 递归调用的方式遍历SD卡上的所有图片
- python2,绘图title,xlabel,ylabel出现中文乱码
- Intellij IDEA中实现热部署
- Linux部署nodejs web项目
- 深度学习概述
- Intellij IDEA修改包名
- 递归算法
- iptables 高级学习笔记