Storm集群的搭建

来源:互联网 发布:管家婆数据导入 编辑:程序博客网 时间:2024/05/16 23:45

Storm集群的搭建

1.集群规划
以三台服务器hadoop02、hadoop03、hadoop04为例(已部署好zookeeper),集群规划如下所示:
这里写图片描述
2.下载软件包
http://storm.apache.org
3.解压并重命名

tar -zxvf apache-storm-0.9.7.tar.gz -C /home/hadoop/appsmv apache-storm-0.9.7.tar.gz

4.修改环境变量

export STORM_HOME=/home/hadoop/apps/stormexport PATH=$PATH:$STORM_HOME/bin

5.修改配置文件
vi storm.yaml

#配置zookeeper storm.zookeeper.servers:     - "hadoop02"     - "hadoop03"     - "hadoop04"#指定文件路径 storm.local.dir: "/home/hadoop/data/stormdata"#指定nimbus节点 nimbus.host: "hadoop02"#指定slots端口号,个数一般与CPU核数一致 supervisor.slots.ports:    - 6700    - 6701    - 6702    - 6703

6.分发至集群其他节点

scp -r /home/hadoop/apps/storm hadoop@hadoop03:$PWDscp -r /home/hadoop/apps/storm hadoop@hadoop04:$PWD

7.启动集群
在hadoop02上执行:

nohup storm ui > /dev/null 2>&1 &nohup storm nimbus > /dev/null 2>&1 &

在hadoop02、hadoop03、hadoop04上执行:

nohup storm supervisor > /dev/null 2>&1 &
原创粉丝点击