安装storm

来源:互联网 发布:数码宝贝3 知乎 编辑:程序博客网 时间:2024/06/03 11:43

核心配置文件:

 $SOTRM_HOME/conf/storm.yml

   storm.zookeeper.servers:

- zk1

- zk2

        - zk3


 nimbus.seeds:['host']


storm.local.dir:"$STORM_HOME/tmp"


#每个supervisor下的worker数量

supervisor.slots.ports:

- 6666 

        - 7777

- 8888

- 9999

=================================================================================

1:配置每台storm服务器的host(一样)

2:解压 apache-storm安装包

3:设置环境变量

vim /etc/profilr => $STORM_HOME

        export STORM_HOME=/itcast/apache-storm-1.0.3
        export PATH=$PATH:$JAVA_HOME/bin:.:$HADOOP_HOME/bin:$SQOOP_HOME/bin:$HIVE_HOME/bin:$STORM_HOME/bin

4:在storm根目录下新建一个tmp临时文件夹,用来存放storm相关数据(在storm.yml配置文件里配置storm.local.dir)

5:编辑storm.yml的配置文件

#s1:配置zk

   storm.zookeeper.servers:

- zk1

- zk2

        - zk3

#配置nimbus(HA)

 nimbus.seeds:['host1',"host2"]

#配置存放本地信息路径

storm.local.dir: "$STORM_HOME/tmp"


#配置每台supervisor上的worker数量

supervisor.slots.ports:

- 6666 

        - 7777

- 8888

- 9999


6:配置好的storm复制到其他storm服务器 

7:启动sotrm集群

在主节点启动nimbus 

storm nimbus &

在从节点启动supervisor

storm supervisor &

启动ui

storm ui &

============================================

通过查看StormUI上每个组件的events链接,可以查看Storm的每个组件(spout、blot)发送的消息。但Storm的eventlogger的功能默认是禁用的,需要在配置文件中设置:topology.eventlogger.executors: 1,具体说明如下:
–"topology.eventlogger.executors":0   默认,禁用
–"topology.eventlogger.executors":1   一个topology分配一个Event Logger.
–"topology.eventlogger.executors":nil   每个worker.分配一个Event Logger
===========================================

#常用命令

•提交任务命令格式:storm jar 【jar路径】【拓扑包名.拓扑类名】 【拓扑名称】
•杀死任务命令格式:stormkill【拓扑名称】 -w 10
•停用任务命令格式:stormdeactivte  【拓扑名称】
•启用任务命令格式:stormactivate【拓扑名称】
•重新部署任务命令格式:stormrebalance  【拓扑名称】








原创粉丝点击