Storm集群搭建

一：实验环境

jzmq-master——java与C++通信的桥梁，有了它，就可以使用zeromq了。

zeromq-2.7.1——号称史上最牛逼的消息队列

storm-0.8.2

二：安装步骤

1.编译安装zeromq，把zeromq-2.1.7.tar.gz上传到Linux系统，执行以下命令：

#tar -xzf zeromq-2.1.7.tar.gz#cd zeromq-2.1.7#./configure

执行./configure命令可能出现的错误：

错误1：

configure: error: Unable to find a working C++ compiler

解决方案：在可以上网的情况下使用yum进行安装：

#yum install gcc-c++

在虚拟机不能上网的情况下，首先到这里下载相关rpm包，把包上传到Linux系统中，然后再执行如下命令：

#rpm -i libstdc++-devel-4.4.7-3.el6.x86_64.rpm#rpm -i gcc-c++-4.4.7-3.el6.x86_64.rpm#rpm -i libuuid-devel-2.17.2-12.9.el6.x86_64.rpm

错误2：

configure:error:cannot link with -luuid,install uuid-dev.

解决方案：

#yum install *uuid-dev*

解决上述所有问题之后，重新执行./configure命令，然后再执行以下命令进行编译安装：

#make#make install

注：只要不报错即可。

2.编译安装jzmq-master.zip，执行以下命令：

#cd jzmq#./autogen.sh

注：执行./autogen.sh之后，可能会报错：

autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.

解决方案：

#yum install libtool

或者手动安装：

#rpm -i autoconf-2.63-5.1.el6.noarch.rpm #rpm -i automake-1.11.1-4.el6.noarch.rpm #rpm -i libtool-2.2.6-15.5.el6.x86_64.rpm

问题解决后，重新执行./autogen.sh，然后会在当前目录下产生一个configure文件，使用如下命令编译安装：

#./configure#make#make install

3.编译安装Python

使用如下命令进行Python的编译安装：

#tar –zxvf Python-2.6.6.tgz#cd Python-2.6.6#./configure#make#make install

注：CentOS自带了Python，可以用python -V查看，当前Python的版本。

4.安装storm

到官网下载storm，上传到Linux中，将Storm压缩包解压，进入conf/目录，里面有个storm.yaml文件，storm所有的配置都写在这里，以下是一些简单配置：

storm.zookeeper.servers:  - "liaozhongmin22"  - "liaozhongmin23"  - "liaozhongmin24"

注：这个属性主要是配置Zookeeper的节点，Storm的状态是由Zookeeper进行管理的。

storm.local.dir: "/usr/local/storm/workdir"

注：这个属性用于Nimbus和Supervisor进程存储少量的状态，需要先创建目录。

nimbus.host: "liaozhongmin22"

注：这个属性主要是指定Nimbus节点的地址。

supervisor.slots.ports:    - 6700    - 6701    - 6702    - 6703

注：对于每个Supervisor工作节点，需要配置该工作节点可以运行的worker数量，每个worker占用一个单独的端口用于接收消息，该配置选项即用于定义哪些端口是可以被worker使用的。默认情况下，每个节点上可运行4个worker，分别在6700、6701、6702、6703端口。


呵呵！Storm的安装就是这么简单。下面是启动相关进程：

在Storm主控节点上运行如下命令：

#bin/storm nimbus >/dev/null 2>&1 &

注：启动Nimbus后台程序并放到后台执行。

在Storm工作节点上运行如下命令：

bin/storm supervisor >/dev/null 2>&1 &

注：启动Supervisor后台程序，并放到后台执行。

在Storm主控节点上运行如下命令：

bin/storm ui >/dev/null 2>&1 &

注：启动UI后台程序，并放到后台执行。启动后可以通过http://{nimbus host}:8080观察集群的状态，如下图：

提示：

Storm后台进程启动后，将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。另外为了方便命令的使用，最好将Storm的环境变量配置在/etc/profile文件中。

附：文中涉及到的软件下载地址：http://pan.baidu.com/s/1gdF3NVl

Storm0.9.x版本的安装：http://blog.csdn.net/WeiJonathan/article/details/17762477