Storm学习1-环境安装

学习storm安装过程

1.首先安装jdk配置jdk环境

rpm -ivh jdk1.7.0_71.rpm

配置环境变量

JAVA_HOME=/usr/java/jdk1.7.0_71

PATH=$PATH:$JAVA_HOME/bin

CLASSPATH=.:JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

expot PATH JAVA_HOME CLASSPATH

2.安装zeromq

wget http://download.zeromq.org/zeromq-4.0.5.tar.gz

tar -zxvf zeromq-4.0.5.tar.gz

cd zermq-4.0.5

./configure

make && make install

如果在安装过程中发现错误确保已经安装了一下相关依赖

gcc-c++ autoconf  automake libtool gcc gcc- make libuuid-dev uui-dev

下面是安装jzmq

git clone https://github.com/zeromq/jzmq.git

cd jzmq

./autogen.sh

./configure

make && make install

检查python是否安装

which python

python -V

下面安装storm

我们下载apache-storm-0.9.3.tar.gz

tar -zxvf apache-storm-0.9.3.tar.gz

然后安装zookeeper-3.4.6.tar.gz

同样解压

cd zookeeper-3.4.6

cd conf

cp zoo_sample.cfg zoo.cfg

cd ../bin

./zkServer.sh start

cd /home/apaache-storm-0.9.3

修改conf/storm.yml

配置storm-zookeeper-server

启动strom主节点

下面依次到192.168.1.202,192.168.1.203两个作为slave节点

配置storm.yml

启动202节点，查看jps

如果在启动过程出现以下情况

请关闭master主机的防火墙 service iptables stop

通过打开主节点的ui   ./storm ui > /dev/null 2>&1 &

打开http://192.168.1.201:8080查看运行情况

配置zookeeper集群配置情况

在配置节点过程中后需要在h1 的/tmp/zookeeper/data下设定 echo 1 > myid 设定为节点1

同样在h2,h3节点上dataDir对应的目录下设置myid 

然后启动./zkServer.sh start启动所有节点，zookeeper将按照规则算法选举leader

可以通过./zkServer.sh status 来检测zookeeper的状态，或者通过jps来查看是否存在QuorumPeerMain进程

启动storm节点做测试，首先将通过maven打包好的jar上传 可以给这个执行设置别名

通过./storm list来查看正在运行中的storm进程

如果需要杀掉执行 ./storm kill wordcount-test

下面我们来看看zookeeper中的storm执行情况

首先我们要通过 ./zkServer.sh status 查看找到那一台机器是leader

执行 ./zkServer.sh -server localhost:2181查看