4.storm中的拓扑示例(进程/线程/任务)

来源：互联网发布：linux系统怎么ping 编辑：程序博客网时间：2024/06/05 07:37

下面定义一个名为 mytopology 的拓扑,由一个 Spout 组件(BlueSpout)、两个 Bolt 组件 (GreenBolt 和 YellowBolt)共 3 个组件构成。

Config conf = new Config();

conf.setNumWorkers(2);

// 使用两个工作进程

topologyBuilder.setSpout("blue-spout", new BlueSpout(), 2);

// 设并行度为 2

topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2).setNumTasks(4)

// 使用 4 个任务 .shuffleGrouping("blue-spout");

topologyBuilder.setBolt("yellow-bolt", new YellowBolt(), 6) .shuffleGrouping("green-bolt");

StormSubmitter.submitTopology( "mytopology",conf,topologyBuilder.createTopology());

mytopology 拓扑的描述如下:

拓扑将使用两个工作进程(Worker);

Spout是id为blue-spout、并行度为2的BlueSpout实例(产生两个执行器和两个任务);

第一个 Bolt 是 id 为 green-bolt、并行度为 2、任务数为 4、使用随机分组方式接收blue-spout 所发射元组的 GreenBolt 实例(产生两个执行器和 4 个任务);

第二个Bolt是id为yellow-bolt、并行度为6、使用随机分组方式接收green-bolt所发射元组的 YellowBolt 实例(产生 6 个执行器和 6 个任务)。

所以,该拓扑一共有两个工作进程(Worker),2+2+6=10 个执行器(Executor),2+4+6=12 个任务。因此,每个工作进程可以分配到 10/2=5 个执行器,12/2=6 个任务。默认情况下,一个执行器执行一个任务,但是如果指定了任务的数目,则任务会平均分配到执行器中,因此, GreenBolt 的实例 green-bolt 的一个执行器将会分配到 4/2=2 个任务。mytopology 的拓扑及其对应的资源分配如图 2.8 所示。

# "mytopology"拓扑使用 5 个 Worker 进程

# "blue-spout" Spout使用 3 个 Executor

# "yellow-bolt" Bolt使用 10 个 Executor

storm rebalance mytopology -n 5 -e blue-spout=3 -e yellow-bolt=10

0 0