storm分配topology关键代码
来源:互联网 发布:安居客移动网络经纪人 编辑:程序博客网 时间:2024/05/08 22:51
原文: http://blog.csdn.net/larrylgq/article/details/7268218
numbus
read-storm-config;读取storm配置launch-server!-->
validate-distributed-mode!验证是否是集群模式
check-storm-active!检查storm状态是否存活
(swap! (:submitted-count nimbus) inc)通过swap!方式将nimbus的提交数加一
storm-name+submitted-count+时间戳拼成stormid
system-topology!确保不会与系统topoligy重名(不能使用_开头的id)
setup-heartbeats!在zookeeper上建立心跳目录
mk-assignments根据spout和bolt以及代码中配置的parallelism hint参数来分配工作量,以task为单位
start-storm将工作分配给supervisor,通过在activate-storm!把topology信息写入/storm/topologu-id下面
supervisor
read-storm-config;读取storm配置
validate-distributed-mode!验证是否是集群模式
launch-worker如有必要启动新的worker并分配task给worker
download-storm-code下载topology的代码
worker
supervisor执行launch-worker时启动参数:storm-id。supervisor-id,port-str,worker-id
task-ids (read-worker-task-ids storm-cluster-state storm-id supervisor-id port)读取nimbus分配的task在zookeeper上
task->component (storm-task-info storm-cluster-state storm-id)找到task对应的spout或bolt
outbound-tasks (worker-outbound-tasks task->component mk-topology-context task-ids)找到tasks对应的输出task
- storm分配topology关键代码
- storm分配topology的关键代码注释
- storm优化topology思路
- Storm Topology设计入门
- Storm入门教程:构建Topology
- Storm UI Topology summary
- Storm入门教程:构建Topology
- storm提交topology
- storm kill topology
- Storm入门教程:构建Topology
- Storm中Topology的状态
- Storm Topology的并发度
- storm topology指定数据流接收
- Storm Topology的并发度
- STORM启动与部署TOPOLOGY
- Storm入门教程:构建Topology(1)
- Storm Topology的并发度
- Storm Topology的并发度
- 【java】加密方式
- 高质量c++(重载、覆盖、隐藏)
- Discuz 升级后回复旁边出现“connect_post_sync_method”的解决方法
- SQL 游标使用实例
- 奢望
- storm分配topology关键代码
- 求俩个数的最大公约数和最小公倍数
- linux下 读取EEPROM
- 条款13:以对象管理资源
- GoldenGate配置实例:RHEL 4.7下的Oracle 10g RAC到单实例的单向同步
- web学习—css样式表—应用(二)
- struts 图片上传 调试
- java构造器的使用
- 黑马程序员之ADO.NET学习笔记:ADO.NET如何读取Excel