Storm线程进程分配方法
来源:互联网 发布:网络搜索 编辑:程序博客网 时间:2024/06/15 15:41
原文:
http://rainforc.iteye.com/blog/2210596
运行中的Topology主要由以下三个组件组成的:
- Worker processes(进程)
- Executors (threads)(线程)
- Tasks
其中进程数除以机器数可以得到每台机器的进程数,我们以一台机器为例:
Spout或者Bolt的Task个数一旦指定之后就不能改变了,而Executor的数量可以根据情况来进行动态的调整。默认情况下# executor = #tasks即一个Executor中运行着一个Task。
如上面代码所示:
进程数=numWorkers=2
线程数=blue_parallelism_hint(2)+green_parallelism_hint(2)+yellow_parallelism_hint(6)=10
10个线程/2个进程 = 5个线程/进程
Blue-Spout 线程数 = 2
Blue-Spout Task数 = Blue-Spout NumTasks = 4
4/2=2 即每个Blue-Spout线程有2个Task。
线程数量即并发度可以动态调整,其它的参数启动后就不能调整了。
以一张图更清晰的说明:
阅读全文
0 0
- Storm线程进程分配方法
- Storm线程进程分配方法
- Storm中进程,线程,任务和实例的关系
- 4.storm中的拓扑示例(进程/线程/任务)
- 进程线程通信方法总结
- 查看线程进程信息方法
- 进程 线程 优先级调整方法
- 进程线程及堆栈之间内存分配和关系总结
- 深入理解linux下进程和线程的空间分配,进程栈和线程栈的空间分配
- 进程分配
- 进程分配
- 04storm 源码阅读 storm的进程间消息通信实现clojure端 生成带netty能力的线程
- storm分配topology关键代码
- storm 进程消失
- Storm系列(十一)架构分析之Supervisor-管理Worker进程的事件线程
- Linux/Unix分配进程ID的方法以及源码实现
- 创建进程和线程的方法
- 进程和线程同步的方法
- 引用方式
- insert子查询
- c++第五次实验
- python-pip操作基本指令介绍
- linux下wget下载整个网站
- Storm线程进程分配方法
- 淘淘商城系列——SSM框架整合之逆向工程
- Color spaces in OpenCV (C++ / Python)
- ajax错误提示一闪而过,ajax请求数过多引起浏览器无响应(阻塞)问题解决
- 平衡二叉树
- 《大型网站技术架构:核心原理与案例分析》拜读总结——第一章
- runtime和RunLoop的使用
- iOS
- 天池历届大赛答辩PPT及视频