JStorm/Storm的调试:本地运行模式
来源:互联网 发布:linux 执行jar包命令 编辑:程序博客网 时间:2024/05/22 10:04
最近正在学习使用JStorm,写了一个Topology,将程序打成jar包,提交到JStorm集群运行,但是并没有输出结果,反复检查代码,还是查不出错误,而且每次改正代码之后,都要重新打成jar,上传到集群,很不方便。忽然想到Hadoop有本地运行模式,非常方便调试,于是开始查阅相关资料,一下是我的一些学习成果。
Storm运行模式:
- 本地模式(Local Mode): 即Topology运行在本地机器的单一JVM上,这个模式主要用来开发、调试。
- 远程模式(Remote Mode):在这个模式,我们把我们的Topology提交到集群,在这个模式中,Storm的所有组件都是线程安全的,因为它们都会运行在不同的Jvm或物理机器上,这个模式就是正式的生产模式。
实例:
- 创建一个MAVEN工程:
- 修改pom.xm添加依赖包
- Spout
- Bolt
- Topology
这里有两种运行模式可以选择:cluster和Local,当我们直接Run As->Java Application的时候,就是采用的本地运行模式。
本地模式在一个进程里面模拟一个storm集群的所有功能, 这对开发和测试来说非常方便。以本地模式运行Topology跟在集群上运行Topology类似。要创建一个进程内“集群”,使用LocalCluster对象就可以了。然后可以通过LocalCluster对象的submitTopology方法来提交Topology, 效果和StormSubmitter对应的方法是一样的。submitTopology方法需要三个参数: Topology的名字, Topology的配置以及Topology对象本身。你可以通过killTopology方法来终止一个topology, 它需要一个topology名字作为参数。
要关闭一个本地集群,简单调用:
cluster.shutdown();
就可以了。
要关闭一个本地集群,简单调用:
cluster.shutdown();
就可以了。
0 0
- JStorm/Storm的调试:本地运行模式
- Storm 本地模式运行WordCountTopology
- storm、jstorm调研系列 (三)-----jstorm 代码例子和解读(自己写的代码,可以运行)
- twitter storm安装和storm-start的本地运行
- twitter storm安装和storm-start的本地运行
- 阿里的STORM——JSTORM
- 005-采用storm程序对目录下文件的单词计数本地模式运行
- 在线实时大数据平台Storm本地模式运行的一个小发现
- 004-storm开发计数程序本地模式运行
- Storm 本地模式
- Storm 和JStorm
- Storm 和JStorm
- Storm 和JStorm
- Jstorm-------storm.yaml配置
- JStorm和Storm比较
- JStorm Storm 上手demo
- JStorm Storm 上手demo
- storm/jstorm 相关命令
- CTF【每日一题20160623】dotNet逆向分析
- imx6q yocto 添加自己的应用程序
- hdu 1051 //多次贪心 (水题)
- SpringMVC静态资源拦截问题
- Spring注解@Component、@Repository、@Service、@Controller区别
- JStorm/Storm的调试:本地运行模式
- 事务处理
- ACM/ICPC竞赛STL--pair
- CSS中模糊滤镜
- hdu 2570 //这题想到贪心法有些曲折哈 是一道简单的贪心算法(最优装载问题)
- 简单逆向 程序的数据库 并备份修改
- 第12周—项目3数组类运算的实现
- C++
- 解析URI与URL之间的区别与联系