JStorm-2.1.1源码分析--Topology提交(上)
来源:互联网 发布:名片制作软件美图秀秀 编辑:程序博客网 时间:2024/05/23 15:39
一个Topology包含一或多个spout bolt,spout负责在数据源获得数据并发送给bolt,每个bolt负责做完处理后发给下一个bolt。通常topology的创建是由TopologyBuilder来创建的,该组件会记录包含哪些spout bolt,并做相应验证:各组件是否有id冲突,校验方法如下:
Topology提交前会先判断集群中是否存在同名作业,如果存在在提交失败,如果没有则会增加集群提交次数SubmittedCount,每次提交成功,该变量都会加1,然后会为该作业分配一个id,生成规则如下:
因此我们从作业id中就可以判断集群作业成功提交次数、提交时间、还有作业名称了,如果我们没有指定acker数量,对topology本身的校验比较细致:
1、组件id是否合法2、是否存在同名id
3、woker数量是否合法,小于0或null
4、ack数量校验同worker一样
1 0
- JStorm-2.1.1源码分析--Topology提交(上)
- JStorm-2.1.1源码分析--Topology提交(中)
- JStorm-2.1.1源码分析--Topology提交(下)
- JStorm-2.1.1初识及提交同名的Topology
- 流式计算-Jstorm提交Topology过程(上)
- JStorm之Topology提交客户端
- JStorm之Topology提交服务端
- storm源码分析1之topology提交过程
- jstorm源码分析:提交任务过程
- storm源码分析之topology提交过程
- Storm/JStorm之Topology提交过程
- 流式计算-Jstorm提交Topology过程(下)
- jstorm提交topology后子节点worker is dead
- jstorm源码分析
- jstorm源码分析: nimbus
- jstorm 源码分析汇总
- jstorm 源码分析: supervisor
- jstorm源码分析: zookeeper
- 限制波尔兹曼机
- 安卓开发学习心得-------GridView基础
- 带大图显示的图片选择器&自定义相机(选中的自动前移)-----》PhotoKit
- 【Dongle】【VS】之窗体异常
- 在Sublime Text 3下解决中文乱码的情况
- JStorm-2.1.1源码分析--Topology提交(上)
- iOS 可读性 readonly
- java 实现全角字符转换为半角字符
- 2016年读书记录
- JavaScript笔记整理——this 的工作原理
- sscanf&sprintf讲解
- pthon核心编程-读书笔记:知识点摘录与总结(方便理解和快速记忆)
- RxJava来龙去脉
- HashSet,LinkedHashSet和TreeSet