storm安装及报错解决

集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群

一、环境准备

三台虚拟机

关闭防火墙，配置hosts

安装java，并配置环境变量

二、搭建zookeeper集群

2.1解压

tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/app/

2.2修改配置

cd /home/hadoop/app/zookeeper-3.4.5/conf/

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

修改：dataDir=/home/hadoop/app/zookeeper-3.4.5/tmp

在最后添加：

server.1=hadoop05:2888:3888

server.2=hadoop06:2888:3888

server.3=hadoop07:2888:3888

保存退出

然后创建一个tmp文件夹

mkdir /home/hadoop/app/zookeeper-3.4.5/tmp

echo 1 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid

2.3 将配置好的zookeeper拷贝到其他节点(首先分别在hadoop06、hadoop07根目录下创建一个hadoop目录：mkdir /hadoop)

scp -r /home/hadoop/app/zookeeper-3.4.5/ hadoop06:/home/hadoop/app/

scp -r /home/hadoop/app/zookeeper-3.4.5/ hadoop07:/home/hadoop/app/

注意：修改hadoop06、hadoop07对应/hadoop/zookeeper-3.4.5/tmp/myid内容

hadoop06：

echo 2 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid

hadoop07：

echo 3 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid

2.4 启动zookeeper集群（分别在mini5、mini6、mini7上启动zk）

cd /hadoop/zookeeper-3.4.5/bin/

./zkServer.sh start

#查看状态：一个leader，两个follower

./zkServer.sh status

三、安装Storm

3.1解压

tar -zxvf apache-storm-0.9.5.tar.gz -C /export/servers/

cd /export/servers/

3.2修改配置文件

mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak

vi /export/servers/storm/conf/storm.yaml

输入以下内容：

storm.zookeeper.servers:

- "mini1"

- "mini2"

- "mini3"

#

# nimbus.host: "nimbus"

nimbus.host: "mini1"

storm.local.dir: "/export/servers/apache-storm-0.9.6/data"

supervisor.slots.port:

- 6700

- 6701

- 6702

- 6703

分发安装包

scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers

然后分别在各机器上创建软连接

cd /export/servers/

ln -s apache-storm-0.9.5 storm

启动集群

在nimbus.host所属的机器上启动nimbus服务

cd /export/servers/storm/bin/

nohup ./storm nimbus &

在nimbus.host所属的机器上启动ui服务

cd /export/servers/storm/bin/

nohup ./storm ui &

在其它个点击上启动supervisor服务

cd /export/servers/storm/bin/

nohup ./storm supervisor &

查看集群

访问nimbus.host:/8080，即可看到storm的ui界面。

后记：

报错：while parsing a block mapping in 'reader', line 18, column 1: storm.zookeeper.servers:

如果世界上有一种无语让你无力吐槽的话，那一定是Storm 的配置；如果世界上有一种诡异让你无所适从时，那一定是在配置Storm期间；如果有一种喜悦无以言表，那一定是Storm配置成功的快乐；如果有一种负重的感觉让你瞬间消散，那一定是Storm的成功启动。

只所以吐槽，是因为尼玛Storm 的配置真是太诡异了。不知道是不是因为水平的问题，反正觉得很不可理解。

找了半个小时，网上找不到，后台通过校对。呵呵....呵呵....

原来配置信息要离左边界 一个 英文字符的空格。

然后重启，终于起起来了。