分析Storm-zookeeper节点

分析Storm-zookeeper节点

                 ---dxwang

应用abc(storm)在zookeeper上面节点，如下图：

节点workerbeats

描述：

每个topo对应各自worker心跳的详细信息。

每个worker心跳的详细信息：

心跳内容大概在22K(22942b)，会根据spout或者bolt的多少增大或者减少。

tcp包大小:

根据上面心跳包括消息头大概是23.4kb。

在storm.yaml中的配置项：

worker.heartbeat.frequency.secs

默认值：1

总结：

如果是400个worker,一个worker心跳大概23.4kb，一秒一次心跳大小在9.14M左右。如果是虚拟机（网卡最大25M），会给zookeeper负载压力比较大，考虑把心跳时间改成3-5秒，减少zookeeper负载压力。

节点storms

描述：

每个topo的信息包括：名字，运行的开始时间，状态等（具体参考StormBase）。

节点supervisors

描述：

Supervisor的心跳信息包括：心跳时间，主机名，这个supervisor上运行的worker的端口号，运行时间（具体参考SupervisorInfo）。

注：上面topo心跳内容大小5kb。

tcp包大小：

消息大小为：5.45kb。

在storm.yaml中的配置项：

supervisor.heartbeat.frequency.secs

默认值：5

总结:

考虑减少zookeeper负载，把心跳时间改成8-10秒。

节点errors

描述：

每个topo对应的spout/bolt的错误信息。

节点assignments

描述：

每个topo的任务分配信息，包括：对应的nimbus上的代码目录，所有task的启动时间，每个task与机器，端口的映射（具体参考Assignment）。