Storm单机安装

来源:互联网 发布:淘宝魔兽账号被找回 编辑:程序博客网 时间:2024/06/04 18:33

这里选择安装0.96版本,按照官网的要求,还需要java1.6和Python2.6,因为我的系统已经安装了,所以不在安装

(1)下载安装包,上传到Linux,解压到安装目录:

  tar -zxvf apache-storm-0.9.6.tar.gz -C  /work/opt/modules/  

 (2)配置conf/storm.yaml  

  •  storm.zookeeper.servers:这是给storm集群配置zookeeper集群所在的服务器列表,格式如下: 
storm.zookeeper.servers:  - "111.222.333.444"  - "555.666.777.888"

这里要注意格式,该空格的空格,给对齐的对齐由于我是单机部署,所以只有一个zookeeper,配置如下:

  • storm.local.dir: Nimbus和Supervisor进程需要在本地磁盘建立一个目录,用于存储像jars,confs的状态,必须在每台机器上创建该目录,同时在配置文件上作如下配置: 
storm.local.dir: "/mnt/storm"

我在本地机器的storm目录下创建一个workplace目录:

[beifeng@bigdata01 storm-0.9.6]$ mkdir workplace/

在配置文件做配置:



  •  nimbus.host: worker节点需要知道哪台机器是master节点,从而可以下载topology jars和confs
nimbus.host: "111.222.333.44"

我的配置如下:


  • supervisor.slots.ports: 对于每台worker机器,可以配置多少个work运行在该机器上。每个worker使用单独的一个端口,去接收信息,该配置就是定义了哪些端口是对worker开发的,如果在这里定义了5个端口,那么Strom将会分配五个workers在这台机器上运行,默认情况下,配置4个端口:6700, 6701, 6702,6703
supervisor.slots.ports:    - 6700    - 6701    - 6702    - 6703

本地配置如下:



为了能够在web页面,查看Strom相关的信息,还需要配置ui的端口



需要注意的是,ui的节点必须与Numbus节点在同一台服务器上

(3)先启动zookeeper:

[beifeng@bigdata01 zookeeper-3.4.8]$ bin/zkServer.sh start

在这里需要查看下zookeeper的状态,以及2168端口是否被占用,从而确保能正常使用zookeeper

[beifeng@bigdata01 zookeeper-3.4.8]$ bin/zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /work/opt/modules/zookeeper-3.4.8/bin/../conf/zoo.cfgMode: standalone
[beifeng@bigdata01 zookeeper-3.4.8]$ netstat -tlnup | grep 2181 (Not all processes could be identified, non-owned process info will not be shown, you would have to be root to see it all.)tcp        0      0 :::2181                     :::*                        LISTEN      4806/java

(4)启动storm的numbus节点

[beifeng@bigdata01 storm-0.9.6]$ nohup bin/storm nimbus >logs/nimbus-start.log 2>&1 & 

(5)启动Storm的supervisor节点

[beifeng@bigdata01 storm-0.9.6]$ nohup bin/storm supervisor >logs/supervisor-start.log >&1 &


(6)启动Storm的UI节点

[beifeng@bigdata01 storm-0.9.6]$ nohup bin/storm ui >/dev/null 2>&1 &

(7)启动Logviewer
与UI节点相反的是,logviewer需要在每一个supervisor节点上,启动一个logviewer服务:

[beifeng@bigdata01 storm-0.9.6]$ nohup bin/storm logviewer>/dev/null 2>&1 & 


(7)监控页面如下:


 
(8)运行官方的示例

[beifeng@bigdata01 storm-0.9.6]$ bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar  storm.starter.WordCountTopology wordcount



到此storm安装完毕!

0 0
原创粉丝点击