Linux环境下Strom单机安装详解

《Storm安装总结》

本教程讲述的是单机版Storm的安装过程，本人操作系统为:

uname -a

(1) Linux version 2.6.32-504.30.3.el6.x86_64 ([e-mail]) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-11) (GCC) ) #1 SMP Wed Jul 15 10:13:09 UTC 2015

(2)  CentOS release 6.5 (Final)

 

一．准备工作

我的机器使用的是CentOS release 6.5，64位操作系统，建议安装一个全新的系统，以防出现各种别的问题。

1.1安装JDK

Storm需要JVM的支持，这里我选择jdk 1.8版本，步骤如下。

（1）检查服务器上是否安装了旧版本的jdk

     java -version

（2）如果有旧版本的jdk则移除

     yum remove java-1.6.0-openjdk

     yum remove java-1.7.0-openjdk

（3）下载jdk1.8安装包

java官网下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

 

说明：32位机器安装Linux x86版本，64位机器安装Linux x64版本。本服务器操作系统为Linux version 2.6.32-504.30.3.el6.x86_64，这里选择Linux x64版本的jdk安装包。下载jdk-8u131-linux-x64.tar.gz

（4）创建java文件夹

     mkdir /usr/local/services/java

（5）将下载到压缩包拷贝到java文件夹中，进入jdk源码包所在目录

     cp jdk-8u66-linux-x64.tar.gz /usr/local/services/java

（6）解压压缩包

     cd /usr/local/services/java

     tar-zxvfjdk-8u131-linux-x64.tar.gz -C ./

     rm jdk-8u131-linux-x64.tar.gz

（7）配置环境变量

     修改/etc/profile文件 ，用文本编辑器打开/etc/profile， 在profile文件末尾加入： 
     export JAVA_HOME=/usr/local/services/java/jdk1.8.0_131
     export PATH=$JAVA_HOME/bin:$PATH 
     export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

（8）使 /etc/ 目录下的 profile文件即可生效

     source /etc/profile
（9）验证是否安装成功

     输入java命令

     输入javac命令

 

1.2安装Python

Centos系统一般会自带默认安装Python2.x。使用python -V可以查看python版本信息。本服务python版本为Python 2.6.6

 

 

1.3安装Zookeeper

（1）下载安装包

     可以去官网下载最新安装包，官网地址：http://zookeeper.apache.org/releases.html，这里使用zookeeper-3.4.9版本

（2）创建 /usr/local/services/zookeeper文件夹

     mkdir /usr/local/services/zookeeper
（3）进入到 /usr/local/services/zookeeper 目录
     cd /usr/local/services/zookeeper 
（4）解压缩 zookeeper-3.4.9.tar.gz
     tar -zxvf zookeeper-3.4.9.tar.gz -C ./
（5）进入到 /usr/local/services/zookeeper/zookeeper-3.4.9/conf目录
     cd zookeeper-3.4.9/conf/
（6）复制 zoo_sample.cfg 文件的并命名为为 zoo.cfg
     cp zoo_sample.cfg zoo.cfg
（7）用 vim 打开 zoo.cfg文件并修改其内容为如下
    # The number of milliseconds of each tick
    # zookeeper定义的基准时间间隔，单位：毫秒
    tickTime=2000
    # The number of ticks that the initial 
    # synchronization phase can take
    initLimit=10
    # The number of ticks that can pass between 
    # sending a request and getting an acknowledgement
    syncLimit=5
    # the directory where the snapshot is stored.
    # do not use /tmp for storage, /tmp here is just 
    # example sakes.
    # dataDir=/tmp/zookeeper
    #数据文件夹
    dataDir=/usr/local/services/zookeeper/zookeeper-3.4.9/data
    #日志文件夹
    dataLogDir=/usr/local/services/zookeeper/zookeeper-3.4.9/logs
    # the port at which the clients will connect
    #客户端访问 zookeeper的端口号
    clientPort=2181
    # the maximum number of client connections.
    # increase this if you need to handle more clients
    #maxClientCnxns=60
    #
    # Be sure to read the maintenance section of the 
    # administrator guide before turning on autopurge.
    #
    # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
    #
    # The number of snapshots to retain in dataDir
    #autopurge.snapRetainCount=3
    # Purge task interval in hours
    # Set to "0" to disable auto purge feature
    #autopurge.purgeInterval=1
（8）保存并关闭 zoo.cfg 文件
（9）进入到 /usr/local/services/zookeeper/zookeeper-3.4.9/bin 目录中
     cd ../bin/
（10）修改/etc/profile文件 ，用文本编辑器打开/etc/profile， 在profile文件末尾加入：
     # idea - zookeeper-3.4.9 config start - 2016-09-08
     export ZOOKEEPER_HOME=/usr/local/services/zookeeper/zookeeper-3.4.9/
     export PATH=$ZOOKEEPER_HOME/bin:$PATH
     export PATH
     # idea - zookeeper-3.4.9 config start - 2016-09-08
（11）使 /etc/ 目录下的 profile文件即可生效
     source /etc/profile
（12）启动 zookeeper 服务
     zkServer.sh start
     如打印如下信息则表明启动成功
     ZooKeeper JMX enabled by default
     Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
     Starting zookeeper ... STARTED
（13）查询 zookeeper 状态
     zkServer.sh status
（14）关闭 zookeeper 服务
     zkServer.sh stop
     如打印如下信息则表明成功关闭
     ZooKeeper JMX enabled by default
     Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
     Stopping zookeeper ... STOPPED
（15）重启 zookeeper 服务
     zkServer.sh restart
     如打印如下信息则表明重启成功：
     ZooKeeper JMX enabled by default
     Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
     ZooKeeper JMX enabled by default
     Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
     Stopping zookeeper ... STOPPED
     ZooKeeper JMX enabled by default
     Using config: /usr/local/services/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
     Starting zookeeper ... STARTED

 

1.4安装libtool

（1）下载安装包

     下载地址：http://mirrors.ustc.edu.cn/gnu/libtool/，这里使用libtool-2.4.2.tar.gz版本

（2）创建 /usr/local/services/libtool文件夹

     mkdir /usr/local/services/libtool
（3）进入到 /usr/local/services/libtool 目录
     cd /usr/local/services/libtool 
（4）解压缩 libtool-2.4.2.tar.gz
     tar -zxvf libtool-2.4.2.tar.gz -C ./
（5）进入到 /usr/local/services/libtool/libtool-2.4.2目录
     cd /usr/local/services/libtool/libtool-2.4.2

（6）安装

     ./configure --prefix=/usr/local

     make

     make install

 

1.5安装m4

（1）下载安装包

     下载地址：http://ftp.gnu.org/gnu/m4/，这里使用m4-1.4.17.tar.gz版本

（2）创建 /usr/local/services/m4文件夹

     mkdir /usr/local/services/m4
（3）进入到 /usr/local/services/m4 目录
     cd /usr/local/services/m4 
（4）解压缩 m4-1.4.17.tar.gz
     tar -zxvf m4-1.4.17.tar.gz -C ./
（5）进入到 /usr/local/services/m4/m4-1.4.17目录
     cd /usr/local/services/m4/m4-1.4.17

（6）安装

     ./configure --prefix=/usr/local

     make

     make install

 

1.6安装automake

（1）下载安装包

     下载地址：http://ftp.gnu.org/gnu/automake/，这里使用automake-1.14.tar.gz 版本

（2）创建 /usr/local/services/automake文件夹

     mkdir /usr/local/services/automake
（3）进入到 /usr/local/services/automake 目录
     cd /usr/local/services/automake 
（4）解压缩 automake-1.14.tar.gz 

     tar -zxvf automake-1.14.tar.gz  -C ./
（5）进入到 /usr/local/services/automake/automake-1.14目录
     cd /usr/local/services/automake/automake-1.14

（6）安装

     ./configure --prefix=/usr/local

     make

     make install

 

      

1.6安装automake

（1）下载安装包

     下载地址：http://ftp.gnu.org/gnu/automake/，这里使用automake-1.14.tar.gz 版本

（2）创建 /usr/local/services/automake文件夹

     mkdir /usr/local/services/automake
（3）进入到 /usr/local/services/automake 目录
     cd /usr/local/services/automake 
（4）解压缩 automake-1.14.tar.gz 

     tar -zxvf automake-1.14.tar.gz  -C ./
（5）进入到 /usr/local/services/automake/automake-1.14目录
     cd /usr/local/services/automake/automake-1.14

（6）安装

     ./configure --prefix=/usr/local

     make

     make install

 

1.6安装autoconf

（1）下载安装包

     下载地址：http://ftp.gnu.org/gnu/autoconf/，这里使用autoconf-2.69.tar.gz  版本

（2）创建 /usr/local/services/autoconf文件夹

     mkdir /usr/local/services/autoconf
（3）进入到 /usr/local/services/autoconf 目录
     cd /usr/local/services/autoconf 
（4）解压缩 autoconf-2.69.tar.gz 

     tar -zxvf autoconf-2.69.tar.gz  -C ./
（5）进入到 /usr/local/services/autoconf/autoconf-2.69目录
     cd /usr/local/services/autoconf/autoconf-2.69

（6）安装

     ./configure --prefix=/usr/local

     make

     make install

 

 

 

 

1.7安装pkgconfig

（1）下载安装包

     下载地址：http://download.chinaunix.net/download/0009000/8174.shtml/，这里使用pkgconfig-0.17.2.tar.bz2  版本

（2）创建 /usr/local/services/pkgconfig文件夹

     mkdir /usr/local/services/pkgconfig
（3）进入到 /usr/local/services/pkgconfig 目录
     cd /usr/local/services/pkgconfig
（4）解压缩pkgconfig-0.17.2.tar.bz2 

     tar -jxvfpkgconfig-0.17.2.tar.bz2  -C ./
（5）进入到 /usr/local/services/pkgconfig/pkgconfig-0.17.2目录
     cd /usr/local/services/pkgconfig/pkgconfig-0.17.2

（6）安装

     ./configure --prefix=/usr/local

     make

     make check

     make install

 

1.7安装ZeroMQ

（1）下载安装包

     下载地址：http://download.zeromq.org/，这里使用zeromq-4.0.3.tar.gz  版本

（2）创建 /usr/local/services/zeromq文件夹

     mkdir /usr/local/services/zeromq
（3）进入到 /usr/local/services/zeromq目录
     cd /usr/local/services/zeromq
（4）解压缩 zeromq-4.0.3.tar.gz 

     tar -zxvf zeromq-4.0.3.tar.gz   -C ./
（5）进入到 /usr/local/services/zeromq/zeromq-4.2.1目录
     cd /usr/local/services/zeromq/zeromq-4.2.1

（6）安装

     ./configure --prefix=/usr/local

     make

     make install

 

 

1.7安装JZMQ

（1）下载安装包

     下载地址：https://github.com/zeromq/jzmq，这里使用jzmq-master.zip  版本

（2）创建 /usr/local/services/jzmq文件夹

     mkdir /usr/local/services/jzmq
（3）进入到 /usr/local/services/jzmq目录
     cd /usr/local/services/jzmq
（4）解压缩 jzmq-master.zip

     unzip jzmq-master.zip

（5）进入到 /usr/local/services/jzmq/jzmq-master目录
     cd /usr/local/services/jzmq/jzmq-master

（6）安装

     ./autogen.sh

     ./configure  

     make  

     make install

 

1.8安装Storm

（1）下载安装包

     可以去官网下载最新安装包，官网地址：http://storm.incubator.apache.org/downloads.html，这里使用最新版apache-storm-1.1.0.tar.gz版本

（2）解压，Storm解压即可使用，这里将storm放在/usr/local/目录下

     tar -zxvfapache-storm-1.1.0.tar.gz -C ./

     mv apache-storm-1.1.0 /usr/local

（3）修改/etc/profile文件 ，用文本编辑器打开/etc/profile， 在profile文件末尾加入
     export STORM_HOME=/usr/local/apache-storm-1.1.0

 export PATH=$STORM_HOME/bin:$PATH

 export PATH

（4）用 vim 打开 /usr/local/apache-storm-1.1.0/conf/storm.yaml文件并修改其内容为如下

########### These MUST be filled in for a storm configuration

storm.zookeeper.servers:

     - "localhost"

nimbus.host: "localhost"

storm.local.dir: "/usr/local/apache-storm-1.1.0/data"

ui.port: 8080

 

说明：

     1）storm.zookeeper.servers： 指定Storm系统所使用的Zookeeper的地址。如果安装的是单机版，那就是你的本机地址，这里填“localhost”。

     2）nimbus.host : "localhost"， storm nimbus的IP地址，指定此机器为Storm的Nimbus结点，也是本机地址，这里填“localhost”。

          3）storm.local.dir :Storm的一些配置文件或jar包，或日志存放的地方，注意这个目录下，一定要保证有权限生成文件，否则会报错，因此最好是本地用户的文件路径。

          4) storm.zookeeper.port :zookeeper与storm通信的端口，通常默认为2181。但是最好还是检查一下zookeeper的zoo .cfg文件，保证配置相同。

（5）启动strom

     1）首先要启动zookeeper：zkServer.sh start

     2）启动strom：cd/usr/local/apache-storm-1.1.0/bin

                   nohup ./storm nimbus &

                   nohup ./stormsupervisor &

                   nohup ./storm ui &

（6）停止strom

     cd/usr/local/apache-storm-1.1.0/bin

     storm kill wordcount

     其中，wordcout为topology的名称，即提交jar包是指定的topology名称

（7）测试storm

     在浏览器中输入：http://123.206.120.139:8080/index.html，如果显示出如下页面，则storm安装成功。