Storm 本地模式

来源:互联网 发布:javascript 预编译 编辑:程序博客网 时间:2024/05/01 08:23
 原始出处 http://chenlx.blog.51cto.com/4096635/743511
本地模式用进程模拟一个storm集群,对于开发和测试拓扑比较有用。本地模式运行拓扑和在集群运行拓扑大致相同。
简单地使用LocalCluster类,就能创建一个进程内(in-process)集群。例如:
 
  1. import backtype.storm.LocalCluster; 
  2.  
  3. LocalCluster cluster = new LocalCluster(); 
你可以使用LocalCluster的对象的submitTopology方法提交拓扑。就像storm-starter项目中相应的方法,submitTopology方法需要三个参数:拓扑名称、拓扑的配置、拓扑自身。你能使用带拓扑名称参数的killTopology方法kill一个拓扑。
简单的调用shutdown方法,可以停止本地集群。如下所示:
 
  1. cluster.shutdown(); 
 
本地模式Common配置
完整配置清单看这里。
1. Config.TOPOLOGY_MAX_TASK_PARALLELISM:单个组件产生的最大线程数。通常情况下,生产环境的拓扑有大量并行线程(数百个线程),当我们尝试在本地模式测试拓扑时,它会使本地集群处于一个不合理负载。这个配置让你容易控制并行度。
2. Config.TOPOLOGY_DEBUG:当设置为true时,spout或bolt每发射一个消息,storm就记录一个消息。这程序调试非常有用。
 
英文原文https://github.com/nathanmarz/storm/wiki/Local-mode
原创粉丝点击