Twitter Storm 集群
来源:互联网 发布:安卓运行windows 编辑:程序博客网 时间:2024/06/05 11:05
Twitter Storm的单机版安装配置已经在上一篇笔记中写的很清楚了:http://www.linuxidc.com/Linux/2013-05/84272.htm
转自:http://www.linuxidc.com/Linux/2013-05/84307.htm
本篇幅主要是讲述在单机版本的基础上扩展成为集群。
集群中所有的机器都需要安装与单机版一样的所需工具软件:
python、zookeeper、zeromq、jzmq、storm
将上述工具安装单机版教程中所描述的一一安装即可。
区别就在于配置了,这里配置三台服务器 hostA hostB hostC
首先修改zookeeper的配置文件:
vim /usr/local/zookeeper/conf/zoo.cfg :
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
server.1=hostA:2888:3888
server.2=hostB:2888:3888
server.3=hostC:2888:3888
上面这个配置文件可以在几台机一样。
echo 1 > /tmp/zookeeper/myid
这一步是每台电脑上都不同的。
具体的对应关系参见zoo.cfg中的server.x=hostname:portNumber:portNumber。
也就是说在我的配置文件中,hostA的echo是1,hostB的echo是2,hostC的echo是3。
然后分别启动三台机器:
bin/zkSever.sh start
这步是启动三台机器上的zookeeper,每台机器都要做。
接下去有几个命令是查看集群中zookeeper状态的:
•# echo stat | nc HOSTMASTER 2181
•# echo con“ | nc HOSTMASTER 2181
•# echo dump | nc HOSTMASTER 2181
•# echo wchs | nc HOSTMASTER 2181
•# echo ruok | nc HOSTMASTER 2181
•# bin/zkCli.sh.stat /
•# bin/zkCli.sh ls /
好了,zookeeper的集群配置好了。接下来配置storm:
vim /usr/local/storm/conf/storm.yaml :
storm.zookeeper.servers:
- "hostA"
- "hostB"
- "hostC"
storm.zookeeper.port: 2181
nimbus.host: "hostA"
storm.local.dir: "/tmp/storm"
storm.local.mode.zmq: true
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
说明:
storm.local.dir表示storm需要用到的本地目录。
nimbus.host表示那一台机器是master机器,即nimbus。
storm.zookeeper.servers表示哪几台机器是zookeeper服务器。
storm.zookeeper.port表示zookeeper的端口号,这里一定要与zookeeper配置的端口号一致,否则会出现通信错误,切记切记。当然你也可以配superevisor.slot.port,supervisor.slots.ports表示supervisor节点的槽数,就是最多能跑几个worker进程(每个sprout或bolt默认只启动一个worker,但是可以通过conf修改成多个)。
好了,storm集群就配置好了。
现在准备启动strom集群:
在主节点hostA上启动:
# bin/storm nimbus
# bin/storm supervisor
# bin/storm ui
在从节点上hostB hostC启动:
# bin/storm supervisor
然后就可以在http://{NimbusHost}:8080界面上看到storm ui的运行情况了。
如提交运行任务:
storm jar sendCloud-dataAnalysis.jar com.sohu.sendCloud.controller.SimpleTopology analysis_v1
至此,整个strom集群搭建完成。
- Twitter Storm: 搭建storm集群
- Twitter Storm 集群
- Twitter Storm集群搭建小结
- Twitter Storm集群搭建小结
- Twitter Storm安装配置(集群)笔记
- Twitter Storm安装配置(集群)笔记
- Twitter Storm 安装实战-本地+集群
- Twitter Storm安装配置(集群)笔记
- Twitter-Storm与Zookeeper集群安装…
- 【流式计算】Twitter Storm: 搭建storm集群
- Twitter Storm
- Twitter Storm
- Twitter Storm: 在生产集群上运行topology
- Twitter Storm: 在生产集群上运行topology
- Twitter Storm: 在生产集群上运行topology
- Twitter Storm: 在生产集群上运行topology配置
- Twitter Storm Concepts
- Twitter Storm Common patterns
- nohup-真正的Shell后台运行
- 有两个字符串str1和str2,写一个函数实现在str1中查找str2的初始位置。要求不区分大小写。
- 黑马程序员--C语言入门疑难点--自增自减
- Makefile中的wildcard用法
- 战国策评析(二)---秦
- Twitter Storm 集群
- java高新技术:JavaBean
- 解决数据耗时
- Linux服务器上MySQL的使用(二)
- 1051 补提交卡
- android基础知识12:android自动化测试06—Instrumentation 01 例子
- summary
- BEGINNING SHAREPOINT® 2013 DEVELOPMENT 第4章节--理解你的开发选项 总结
- hdu 1231