Storm应用系列之——Spout、Bolt API
来源:互联网 发布:淘宝自制女装销量好高 编辑:程序博客网 时间:2024/06/04 19:09
1、Component
Storm中,Spout和Bolt都是其Component。所以,Storm定义了一个名叫IComponent的总接口
全家普如下:
绿色部分是我们最常用、比较简单的部分。红色部分是与事务相关的,在以后的文章会具体讲解。
BaseComponent 是Storm提供的“偷懒”的类。为什么这么说呢,它及其子类,都或多或少实现了其接口定义的部分方法。这样我们在用的时候,可以直接继承该类,而不是自己每次都写所有的方法。但值得一提的是,BaseXXX这种定义的类,它所实现的方法,都是空的,直接返回null。
2、Spout
在前面基本例子中,我们实现了一个RandomSpout,来看看其类图
3、Bolt
ExclaimBasicBolt的类图:
这里可以看到一个奇怪的问题:
为什么IBasicBolt并没有继承IBolt?
我们带着问题往下看。
IBolt定义了三个方法:
如果你确实要反馈失败,可以抛出FailedException。
我们来再写一个Bolt继承BaseRichBolt替代ExclaimBasicBolt。代码如下:
修改topology
运行下,结果一致。
结论:
通常情况下,实现一个Bolt,可以实现IRichBolt接口或继承BaseRichBolt,如果不想自己处理结果反馈,可以实现IBasicBolt接口或继承BaseBasicBolt,它实际上相当于自动做掉了prepare方法和collector.emit.ack(inputTuple);
原帖地址:
http://blog.csdn.net/xeseo/article/details/17750379
Storm中,Spout和Bolt都是其Component。所以,Storm定义了一个名叫IComponent的总接口
全家普如下:
绿色部分是我们最常用、比较简单的部分。红色部分是与事务相关的,在以后的文章会具体讲解。
BaseComponent 是Storm提供的“偷懒”的类。为什么这么说呢,它及其子类,都或多或少实现了其接口定义的部分方法。这样我们在用的时候,可以直接继承该类,而不是自己每次都写所有的方法。但值得一提的是,BaseXXX这种定义的类,它所实现的方法,都是空的,直接返回null。
2、Spout
在前面基本例子中,我们实现了一个RandomSpout,来看看其类图
- Spout的最顶层抽象是ISpout接口。
open方法是初始化动作。允许你在该spout初始化时做一些动作,传入了上下文,方便取上下文的一些数据。
close方法在该spout关闭前执行,但是并不能得到保证其一定被执行。spout是作为task运行在worker内,在cluster模式下,supervisor会直接kill -9 woker的进程,这样它就无法执行了。而在本地模式下,只要不是kill -9, 如果是发送停止命令,是可以保证close的执行的。
activate和deactivate :一个spout可以被暂时激活和关闭,这两个方法分别在对应的时刻被调用。
nextTuple 用来发射数据。
ack(Object)
传入的Object其实是一个id,唯一表示一个tuple。该方法是这个id所对应的tuple被成功处理后执行。
fail(Object)
同ack,只不过是tuple处理失败时执行。
我们的RandomSpout 由于继承了BaseRichSpout,所以不用实现close、activate、deactivate、ack、fail和getComponentConfiguration方法,只关心最基本核心的部分。
结论:
通常情况下(Shell和事务型的除外),实现一个Spout,可以直接实现接口IRichSpout,如果不想写多余的代码,可以直接继承BaseRichSpout。
3、Bolt
ExclaimBasicBolt的类图:
这里可以看到一个奇怪的问题:
为什么IBasicBolt并没有继承IBolt?
我们带着问题往下看。
IBolt定义了三个方法:
- IBolt继承了java.io.Serializable,我们在nimbus上提交了topology以后,创建出来的bolt会序列化后发送到具体执行的worker上去。worker在执行该Bolt时,会先调用prepare方法传入当前执行的上下文
- execute接受一个tuple进行处理,并用prepare方法传入的OutputCollector的ack方法(表示成功)或fail(表示失败)来反馈处理结果
- cleanup 同ISpout的close方法,在关闭前调用。同样不保证其一定执行。
如果你确实要反馈失败,可以抛出FailedException。
我们来再写一个Bolt继承BaseRichBolt替代ExclaimBasicBolt。代码如下:
修改topology
运行下,结果一致。
结论:
通常情况下,实现一个Bolt,可以实现IRichBolt接口或继承BaseRichBolt,如果不想自己处理结果反馈,可以实现IBasicBolt接口或继承BaseBasicBolt,它实际上相当于自动做掉了prepare方法和collector.emit.ack(inputTuple);
原帖地址:
http://blog.csdn.net/xeseo/article/details/17750379
0 0
- Storm应用系列之——Spout、Bolt API
- Storm应用系列之——Spout、Bolt API
- Storm——spout,bolt
- Storm之Spout、Bolt、Topology组件
- Storm bolt/spout生命周期
- Storm拓扑,组件之spout、bolt,并行策略
- Storm中Spout和Bolt的生命周期
- Storm的Spout和Bolt中的方法
- (大数据之storm)strom中worker、task、spout/bolt、executor、component的关系
- 流处理旅程——storm之spout介绍
- storm中supervisor, task, worker, spout, bolt之间的关系
- storm spout,bolt超时处理和fail处理
- Storm 基础 -- spout与bolt设置多重grouping
- Storm使用非java语言构建Bolt,Spout
- Kafka+Storm+HBase项目Demo(5)--topology,spout,bolt使用
- Storm系列(十五)架构分析之Executor-Spout
- Storm系列(十六)架构分析之Executor-Bolt
- Storm中的process,thread,task和spout对象实例,bolt对象实例
- JS递归函数和函数的callee属性
- jQuery实现侧边导航手风琴效果
- 网络吞吐量
- DSP生成hex文件、生成bin文件方法
- Color the ball
- Storm应用系列之——Spout、Bolt API
- Eclipse常用快捷键
- Android解惑 - 为什么要用Fragment.setArguments(Bundle bundle)来传递参数
- 带下划线的按钮
- iOS网络构架 与 web服务器 (三次握手)
- Authid Current_User简单介绍
- Python去掉字符串中空格的方法
- php 正则匹配总览
- python正则表达式