storm-(1)集群安装及部署

来源：互联网发布：北京赛车计划软件编辑：程序博客网时间：2024/06/05 16:06

master：redhat6.4版本

slave1：centos6.5版本

安装的zeromq及jzmq缺少的依赖版本适用于redhat6.4，centos6.5安装这些版本会出问题，最好配置yum源，用yum install安装。

1.搭建ZooKeeper集群。

2.在Nimbus和所有工作机器上面安装所有的软件。

(1)ZeroMQ 2.1.7
(2)JZMQ
(3)Java
(4)Python 2.6.6 （因为storm的启动脚本是用Python写的）

3.在Nimbus和所有工作机器上下载并解压storm。

4.对storm.yaml进行一些必要的配置。

5.使用storm脚本来启动所有的必要的进程(nimbus, supervisor, worker)。

1、准备：

1）.修改主机名：

vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=master

2）.修改IP：

vim /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO="static"

HWADDR="00:0C:29:FC:62:B6"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="d0731a46-36df-4ab1-9bac-42bb151acc41"

IPADDR="192.168.1.11"

NETMASK="255.255.255.0"

GATEWAY="192.168.1.1"

DNS1="8.8.8.8"

DNS2="8.8.4.4"

3）.修改主机和IP的映射关系

vim /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.11 master

192.168.1.12 slave1

4）.关闭防火墙

vim /etc/sysconfig/selinux

继续执行命令：

service iptables stop

chkconfig iptables off

reboot

2、搭建ZooKeeper集群。

1）解压tar -zxvf zookeeper-3.4.3.tar.gz

2）conf / zoo_sample.cfg 改名为 zoo.cfg，因为 Zookeeper 在启动时会找这个文件作为默认配置文件

3）修改zoo.cfg参数

dataDir=/opt/software/zookeeper-3.4.3/data

server.1=192.168.1.11:2888:3888

server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；当Leader 失效后，D 表示进行选举时服务器相互通信的端口。

4）创建myid文件并赋值。

集群模式下还要配置一个文件 myid，这个文件在 dataDir 目录下。所以我们创建dataDir目录，如（/zookeeper-3.4.3/data），并在目录下创建文件myid”

编辑“myid”文件，这个文件里面就有一个数据就是 A 的值，Zookeeper 启动时会读取这个文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。如果是多服务器配置，就需要将zookeeper-3.4.3目录拷贝到其他服务器，并修改myid。如server.1=192.168.211.1:2888:3888 那么myid文件在192.168.211.1服务器上的内容就是1。

3、在Nimbus和所有工作机器上面安装所有的软件。

1）.安装jdk

chmod +x jdk-6u45-linux-x64.bin

./jdk-6u45-linux-x64.bin

mkdir /usr/java

mv jdk1.6.0_45/ /usr/java/

配置环境变量

vim /etc/profile

在文件最后面添加：

export JAVA_HOME=/usr/java/jdk1.6.0_45

export CLASSPATH=$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin