Storm 流程分析
来源:互联网 发布:puppy linux xiazai 编辑:程序博客网 时间:2024/06/04 18:21
流程说明
client提交topology到nimbus
nimbus针对该topology建立本地的目录,nimbus中的调度器根据topology的配置计算task,并把task分配到不同的worker上,调度的结果写入zk。
在zk上创建assignments节点,存储task和supervisor中work的对应关系。
在zk上创建workerbeats节点来监控worker的心跳。supervisor通过watch机制, 感知到nimbus在zk上的任务分配信息, 并从zk上拉取任务信息, 分辨出属于自己的任务。根据自己的任务信息, 启动自己的worker, 并分配端口
worker启动之后, 连接zk, 拉去任务。
worker根据任务类型, 分别执行spout任务或者bolt任务
spout生命周期:open、nextTuple、outPutFiled
bolt 生命周期:prepare、execute(tuple)、outPutFiled
- 每个worker上运行多个task,task有executor来具体执行。worker根据topology信息初始化建立task之间的连接,相同worker内的task通过disrupterQueue来通信,不同worker间默认采用netty来通信。然后整个topology就运行起来了。
0 0
- Storm 流程分析
- storm源代码分析之acker工作流程
- 【源码分析】storm拓扑运行全流程源码分析
- 【源码分析】storm拓扑运行全流程源码分析
- Twitter Storm源代码分析之acker工作流程
- Twitter Storm源代码分析之acker工作流程
- Twitter Storm源代码分析之acker工作流程
- Twitter Storm源代码分析之acker工作流程
- storm读书笔记---storm运行流程
- storm流程——storm
- storm 执行流程
- storm任务提交流程
- storm开发流程
- Apache Storm工作流程
- storm四之storm的工作流程
- Storm处理流程, 基本参数配置
- Storm作业提交运行流程
- storm相关软件安装流程
- java中关于“按值传递”的相关问题
- Shader自学笔记 3.3.2 采样遮罩纹理 使高光部分更加柔和
- Atitit opencv 模板匹配
- Atitit 函数调用的原理与本质attilax总结 stdcall cdecl区别
- 【九度】题目1080:大数进制转换
- Storm 流程分析
- Atitti python2.7安装 numpy attilax总结
- 1008. Airline Routes (35)解题报告
- 虚拟化的首选:VMware vSphere
- 元思考
- 内网渗透之Hydra
- 纯C++编写Win32/X64通用Shellcode注入csrss进程
- 优化 Ext4 分区格式化后占用空间(通过降低inode数来节省磁盘空间)
- 解耦解的早,改需求没烦恼