storm1.0集群部署(含HA)
来源:互联网 发布:app开发编程工具哪个好 编辑:程序博客网 时间:2024/06/05 17:34
Storm1.0集群部署
部署前准备
下载V1.0.0
http://mirrors.cnnic.cn/apache/storm/apache-storm-1.0.0/apache-storm-1.0.0.tar.gz
zookeeper信息
192.168.7.108:2181
192.168.7.109:2181
192.168.7.110:2181
Storm部署
Nimbus:192.168.7.111(active),192.168.7.112
Supervisor:192.168.7.111,192.168.7.112,192.168.7.113
检查python
storm@ydt-dsp-poc08:/ztapp/usr/storm >python -V
Python 2.6.6
0、在3台服务器上配置hosts
vi /etc/hosts
192.168.7.111 storm01
192.168.7.112 storm02
192.168.7.113 storm03
1、将apache-storm-1.0.0.tar.gz上传到storm安装目录
假设为:/home/usr/storm
2、解压
将apache-storm-1.0.0.tar.gz解压:
tar -zxvf apache-storm-1.0.0.tar.gz
3、重命名(非必需)
将解压后的目录命名为storm
mv apache-storm-1.0.0 storm
4、配置storm.yaml
进入storm/conf目录,修改storm.yaml配置文件为如下内容:
# zookeeper ip
storm.zookeeper.servers:
- "192.168.7.108"
- "192.168.7.109"
- "192.168.7.110"
storm.zookeeper.port: 2181
storm.zookeeper.root: "/storm"
#Nimbus H/A
nimbus.seeds: ["storm01","storm02"]
#Nimbus dir
storm.local.dir: "/ztapp/usr/storm/wkdir"
#supervisor worker port, 4 workers example
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
注:每一个配置点前面需要加一个空格“”,否则启动时会报配置文件相关异常。
绝大多数配置信息都是使用默认值,具体参考:
https://github.com/apache/storm/blob/v1.0.0/conf/defaults.yaml
在storm nimbus启动之后,wkdir目录结构如下:
storm@ydt-dsp-poc08:/ztapp/usr/storm/wkdir >du
4 ./nimbus/history
4 ./nimbus/inbox
12 ./nimbus
4 ./blobs
12 ./supervisor/isupervisor
4 ./supervisor/tmp
20 ./supervisor/localstate
40 ./supervisor
5、进程启动
在192.168.7.111、192.168.7.112、192.168.7.113完成前面4步之后,按nimbus、supervisor的分布情况启动storm进程:
192.168.7.111启动nimbus、supervisor、ui
./storm/bin/storm nimbus &
./storm/bin/storm supervisor &
./storm/bin/storm ui &
192.168.7.112启动nimbus、supervisor、ui
./storm/bin/storm nimbus &
./storm/bin/storm supervisor &
./storm/bin/storm ui &
192.168.7.113启动supervisor
./storm/bin/storm supervisor &
6、验证
http://192.168.7.111:8080
其他参考:
http://storm.apache.org/releases/1.0.0/Setting-up-a-Storm-cluster.html
http://storm.apache.org/releases/1.0.0/javadocs/org/apache/storm/Config.html
https://github.com/apache/storm/blob/v1.0.0/conf/defaults.yaml
- storm1.0集群部署(含HA)
- storm1.0集群部署(含HA)
- Storm1.0 集群部署(HA)
- Storm1.0集群部署(HA)
- Storm1.0集群部署
- hadoop 集群安装(二) HA部署
- hadoop2.7.0-HA集群部署
- hadoop2.7.1HA集群部署
- storm1.0.0集群安装
- Hadoop2.X.0+zookeeper HA分布式集群部署
- Hadoop 2.7.3 高可用(HA)集群部署
- CentOS6.5环境部署Hadoop2.8.1集群(HA)
- (11)Hadoop 2.6.1 集群部署---手工切换HA
- (12)Hadoop 2.6.1 集群部署---自动切换HA
- storm1.x支持主节点nimbus高可用 多master集群部署
- hadoop HA 高可用集群部署搭建
- hadoop--HA分布式集群部署步骤总结
- HA HADOOP集群和HIVE部署
- 在线编程--链表分割
- Physics2D.Linecast
- 安装kafka及相关命令
- Java核心技术(一) —— Java程序设计概述
- 使用Jackson的@JsonFormat注解时出现少八个小时
- storm1.0集群部署(含HA)
- ASP.NET MVC4学习之-------保持数据到数据库EF
- 同步与异步、阻塞与非阻塞
- vsftpd配置文件详解
- python经典书籍
- iOS 不建议使用PCH文件-----使用PCH文件的坏处
- JAVA回调机制(CallBack)详解
- iOS通过网络请求解析数据_中国省市区街道
- <OJ_Sicily>Single-link Clustering