关于storm的complete latency
来源:互联网 发布:如何制作低筋面粉 知乎 编辑:程序博客网 时间:2024/06/05 12:08
最近我们的storm在跑的过程中, 发现bolt的complete latency都非常低, 在1ms以下, 而spout却不断的增加, 达到了好几千ms, 最后导致整个spout挂掉(后来发现complete latency不断增加跟fail有关). 这是一个非常严重的问题, 于是在storm-user上google了一把, 发现这里(1,2)已经有了一些答案.
nathan对complete latency也做了一个非常详细的解释:
complete latency(这里主要针对spout)是一个tuple从发出, 到经过bolt处理完成, 最终调用spout的ack这个完整的过程所花的时间.
complete latency和吞吐量可以认为是互斥的, 二者不可兼得, 要提高吞吐量, 必然会增加complete latency, 反之亦然. 所以我们需要根据具体的场景, 在二者之间找到一个平衡.
complete latency受到两个因素的影响:
bolt的处理时间
spout的parallelism数量
关于latency的计算方式, 这里也有说明, 即一个tuple从被接收到被ack所花的时间.
nathan对complete latency也做了一个非常详细的解释:
complete latency(这里主要针对spout)是一个tuple从发出, 到经过bolt处理完成, 最终调用spout的ack这个完整的过程所花的时间.
complete latency和吞吐量可以认为是互斥的, 二者不可兼得, 要提高吞吐量, 必然会增加complete latency, 反之亦然. 所以我们需要根据具体的场景, 在二者之间找到一个平衡.
complete latency受到两个因素的影响:
bolt的处理时间
spout的parallelism数量
关于latency的计算方式, 这里也有说明, 即一个tuple从被接收到被ack所花的时间.
0 0
- 关于storm的complete latency
- Imagination 关于motion to photon latency延迟的解决方案 --VR
- storm关于fieldsGrouping的理解
- 关于Storm的一些总结
- 关于storm版本的问题
- CPU 的Cache 和Latency
- CPU 的 cache 和 latency
- lag与latency的区别
- 关于读《Code Complete》的一些感悟
- 关于complete binary tree的节点
- 关于软件测试的几个brain storm
- 关于Storm的一些疑问解答
- 关于storm的好文章帖子
- 关于Storm的几点困惑释疑
- 关于 Storm 的一篇好文章
- 关于一句话的修改:storm集成kafka
- Creating Complete JDBC Applications 关于JDBC应用的核心技术
- 关于设计问题的总结-from 《code complete 2》
- Onilne Judge System For SzNOI 题库 语法百题 C++ d012
- Git pull 冲突解决方案
- hd1253
- JavaScript简介
- sql access advisor,SQL Tuning Advisor
- 关于storm的complete latency
- POJ-1190-生日蛋糕-DFS(深搜)-枚举-多重剪枝
- nyoj 01串
- IOS-Block
- 2012年5月SAT香港真题解析
- DataStructure-2-线性表
- SAPUI5-Routing
- 【风宇冲】Unity3D教程宝典之插件篇:Unity3D插件详细评测及教学下载
- 认证和证书