Storm单机安装
来源:互联网 发布:淘宝魔兽账号被找回 编辑:程序博客网 时间:2024/06/04 18:33
这里选择安装0.96版本,按照官网的要求,还需要java1.6和Python2.6,因为我的系统已经安装了,所以不在安装
(1)下载安装包,上传到Linux,解压到安装目录:
tar -zxvf apache-storm-0.9.6.tar.gz -C /work/opt/modules/
(2)配置conf/storm.yaml
- storm.zookeeper.servers:这是给storm集群配置zookeeper集群所在的服务器列表,格式如下:
storm.zookeeper.servers: - "111.222.333.444" - "555.666.777.888"
- storm.local.dir: Nimbus和Supervisor进程需要在本地磁盘建立一个目录,用于存储像jars,confs的状态,必须在每台机器上创建该目录,同时在配置文件上作如下配置:
storm.local.dir: "/mnt/storm"
[beifeng@bigdata01 storm-0.9.6]$ mkdir workplace/
在配置文件做配置:
- nimbus.host: worker节点需要知道哪台机器是master节点,从而可以下载topology jars和confs
nimbus.host: "111.222.333.44"
- supervisor.slots.ports: 对于每台worker机器,可以配置多少个work运行在该机器上。每个worker使用单独的一个端口,去接收信息,该配置就是定义了哪些端口是对worker开发的,如果在这里定义了5个端口,那么Strom将会分配五个workers在这台机器上运行,默认情况下,配置4个端口:6700, 6701, 6702,6703
supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703
本地配置如下:
为了能够在web页面,查看Strom相关的信息,还需要配置ui的端口
需要注意的是,ui的节点必须与Numbus节点在同一台服务器上
(3)先启动zookeeper:
[beifeng@bigdata01 zookeeper-3.4.8]$ bin/zkServer.sh start
在这里需要查看下zookeeper的状态,以及2168端口是否被占用,从而确保能正常使用zookeeper
[beifeng@bigdata01 zookeeper-3.4.8]$ bin/zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /work/opt/modules/zookeeper-3.4.8/bin/../conf/zoo.cfgMode: standalone
[beifeng@bigdata01 zookeeper-3.4.8]$ netstat -tlnup | grep 2181 (Not all processes could be identified, non-owned process info will not be shown, you would have to be root to see it all.)tcp 0 0 :::2181 :::* LISTEN 4806/java
(4)启动storm的numbus节点
[beifeng@bigdata01 storm-0.9.6]$ nohup bin/storm nimbus >logs/nimbus-start.log 2>&1 &
(5)启动Storm的supervisor节点
[beifeng@bigdata01 storm-0.9.6]$ nohup bin/storm supervisor >logs/supervisor-start.log >&1 &
(6)启动Storm的UI节点
[beifeng@bigdata01 storm-0.9.6]$ nohup bin/storm ui >/dev/null 2>&1 &
(7)启动Logviewer
与UI节点相反的是,logviewer需要在每一个supervisor节点上,启动一个logviewer服务:
[beifeng@bigdata01 storm-0.9.6]$ nohup bin/storm logviewer>/dev/null 2>&1 &
(7)监控页面如下:
(8)运行官方的示例
[beifeng@bigdata01 storm-0.9.6]$ bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount
到此storm安装完毕!
0 0
- storm安装 - 单机安装
- Storm 单机版安装
- storm 单机版安装
- Storm单机版安装
- storm单机安装
- Storm单机安装
- Storm单机安装
- Storm单机+zookeeper集群安装
- Storm单机+zookeeper集群安装
- Apache storm单机安装文档
- Centos6.5 storm单机安装
- Storm 单机和分布式安装
- centos安装单机版storm
- Storm linux单机版安装
- 【storm,2】storm安装(单机安装+集群安装)
- storm 简介及单机版安装指南
- Storm安装配置(单机版)笔记
- Storm 单机环境的安装与配置
- SPI和I2C调试小结
- mybatis一级缓存
- phpdocumentor 学习笔记(三)
- Python核心编程第六章课后练习答案
- nginx server 配置
- Storm单机安装
- sql server如何在查询结果页面直接编辑数据?
- java 自动装箱与拆箱
- 构建和实现单点登录解决方案
- 事情冲突处理
- JDBC简介及JDBC编写步骤及常见API
- 合并两个有序链表
- 自用学习笔记-连接式与非连接式访问数据库
- 科技创新服务平台-中美科学家开发新技术破解“白色污染”