Storm实时大数据处理(三)
来源:互联网 发布:nginx pathinfo 编辑:程序博客网 时间:2024/04/30 07:47
本文主题:构建和运行Storm拓扑(Build and Run the Storm Topology)
一、构建Storm拓扑
实现了Spout和Bolt后,就可以构建Storm拓扑了,使用TopologyBuilder构建Topology。
TopologyBuilder builder = new TopologyBuilder();
之后就可以使用builder对象构建拓扑了,使用setSpout方法配置Spout。
public SpoutDeclarer setSpout(String id, IRichSpout spout) throws IllegalArgumentException;public SpoutDeclarer setSpout(String id, IRichSpout spout, Number parallelism_hint) throws IllegalArgumentException;setSpout方法有2个重载的版本(基于IRichSpout实现Spout时),第一个传入2个参数:Spout的ID和IRichSpout实例,即自己实现的Spout实例;第二个传入3个参数:Spout的ID、IRichSpout实例和Spout的并行数。
setSpout方法返回一个SpoutDeclarer对象,可以使用该对象进一步对Spout进行配置,具体请参考SpoutDeclarer API。
继续使用builder对象的setBolt方法配置Bolt。
public BoltDeclarer setBolt(String id, IRichBolt bolt) throws IllegalArgumentException;public BoltDeclarer setBolt(String id, IRichBolt bolt, Number parallelism_hint) throws IllegalArgumentException;setBolt方法也有2个个重载的版本(基于IRichBolt实现Bolt时),第一个传入2个参数:Bolt的ID和IRichBolt实例,即自己实现的Bolt实例;第二个传入3个参数:Bolt的ID、IRichBolt实例和Bolt的并行数。
setBolt方法返回一个BoltDeclarer对象,可以使用该对象进一步对Bolt进行配置,最常见的就是配置Tuple的分流(grouping)方式。
二、运行Storm拓扑
Storm拓扑有2种运行模式,集群模式和本地模式。
集群模式运行Storm拓扑,首先使用StormSubmitter类的静态方法submitTopology来提交拓扑,方法声明如下:
public static void submitTopology(String name, Map stormConf, StormTopology topology) throws AlreadyAliveException, InvalidTopologyException, AuthorizationException;第一个参数是拓扑的名称,第二个是拓扑更详细的一些配置信息,第三个StormTopology使用前面的builder对象来创建,举例:
Config config = new Config();StormSubmitter.submitTopology("wordCount",config ,builder.createTopology());然后将项目打包为jar,到Nimbus机器上执行Python脚本storm提交到集群运行。
Storm jar yourJar.jar MainClass args...本地模式运行Storm拓扑,使用LocalCluster,举例:
LocalCluster cluster = new LocalCluster();Config config = new Config();cluster.submitTopology(topologyID,stormConf,builder.createTopology());之后,像普通Java Application一样运行即可。
阅读全文
1 0
- Storm实时大数据处理(三)
- Storm实时大数据处理(一)
- Storm实时大数据处理(二)
- 实时大数据处理之storm与zeroMQ
- 实时大数据处理框架Storm---推送系统
- 流式大数据处理 (实时)的三种框架:Storm,Spark和Samza
- 大数据处理的三种框架:Storm,Spark和Samza
- 大数据处理的三种框架:Storm,Spark和Samza
- 大数据(三)--Storm
- Storm :twitter的实时数据处理工具
- Twitter Storm 实时数据处理框架分析总结
- Twitter Storm 实时数据处理框架分析总结
- Twitter Storm 实时数据处理框架分析总结
- Twitter Storm 实时数据处理框架分析总结
- Twitter Storm 实时数据处理框架分析总结
- 开放实时数据处理平台 Twitter Storm
- Twitter Storm 实时数据处理框架分析总结
- 开放实时数据处理平台 Twitter Storm(转)
- Hdu 4217 Data Structure?【二分+树状数组】
- strcasecmp函数
- Python Number(数字)
- J2EE学习中一些值得研究的开源项(转)
- Java导出excel
- Storm实时大数据处理(三)
- Java Float类型 减法运算时精度丢失问题
- Spring创建Bean的三种方式
- Exception处理
- jQuery-简单点赞功能实现
- eclipse调试总结(转)
- 探索ORACLE之ASM概念(完整版)
- HTTP状态码(好)
- eclipse常用插件安装