一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)
来源:互联网 发布:寻侠武功生肖突破数据 编辑:程序博客网 时间:2024/06/09 20:57
Storm的官方网址:http://storm.apache.org/index.html
1:安装一个zookeeper集群,之前已经部署过,这里省略,贴一下步骤;
安装配置zooekeeper集群:
1.1:解压
tar -zxvf zookeeper-3.4.5.tar.gz
1.2:修改配置
cd /home/hadoop/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改:dataDir=/home/hadoop/zookeeper-3.4.5/tmp
在最后添加:
server.1=master:2888:3888
server.2=slaver1:2888:3888
server.3=slaver2:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /home/hadoop/zookeeper-3.4.5/tmp
再创建一个空文件
touch /home/hadoop/zookeeper-3.4.5/tmp/myid
最后向该文件写入ID
echo 1 > /home/hadoop/zookeeper-3.4.5/tmp/myid
1.3将配置好的zookeeper拷贝到其他节点:
scp -r /home/hadoop/zookeeper-3.4.5/ slaver1:/home/hadoop/
scp -r /home/hadoop/zookeeper-3.4.5/slaver2:/home/hadoop/
注意:修改slaver1、slaver2对应/home/hadoop/zookeeper-3.4.5/tmp/myid内容
slaver1:
echo 2 > /home/hadoop/zookeeper-3.4.5/tmp/myid
slaver2:
echo 3 > /home/hadoop/zookeeper-3.4.5/tmp/myid
2、上传storm的安装包,解压缩:
[root@master hadoop]# tar -zxvf apache-storm-0.9.2-incubating.tar.gz
3、修改配置文件storm.yaml:
修改内容如下所示:
#所使用的zookeeper集群主机storm.zookeeper.servers: - "master" - "slaver1" - "slaver2"#nimbus所在的主机名nimbus.host: "master"supervisor.slots.ports-6701-6702-6703-6704-6705
然后将master修改好的storm发送到slaver1,slaver2:
[root@master hadoop]# scp -r apache-storm-0.9.2-incubating/ slaver1:/home/hadoop/
[root@master hadoop]# scp -r apache-storm-0.9.2-incubating/ slaver2:/home/hadoop/
4:启动storm集群,首先启动你的Zookeeper集群,然后再启动你的storm集群哈。
启动Zookeeper集群:
然后启动Storm集群:
启动storm在nimbus主机上nohup ./storm nimbus 1>/dev/null 2>&1 &nohup ./storm ui 1>/dev/null 2>&1 &在supervisor主机上nohup ./storm supervisor 1>/dev/null 2>&1 &
注意,解释:
1>/dev/null:代表标准输入到这个目录;
2>&1:代表标准输出也到这个目录下面;
&:代表这个是后台运行;
如下启动storm方便观察,最后一行是卡住不动的哦:
查看进程如下所示:
可以启动一下storm的ui查看:
查看一下进程如:
启动ui以后可以在浏览器访问,如:
启动supervisor
[root@slaver1 bin]# ./storm supervisor
然后可以启动剩下的storm:
[root@slaver2 bin]# ./storm supervisor
启动以后可以查看进程jps的启动情况,然后可以去浏览器查看自己http://192.168.3.129:8080/index.html的页面各个启动情况,如supervisor等等。
- 一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)
- 一脸懵逼学习Storm---(一个开源的分布式实时计算系统)
- 实时可靠的开源分布式实时计算系统——Storm
- 实时可靠的开源分布式实时计算系统——Storm
- Storm (分布式的、容错的实时流式计算系统) 基础概念
- 学习总结十五:分布式实时计算系统storm简介
- storm分布式实时计算框架搭建
- Twitter的开放实时计算系统Storm
- Storm实时分布式计算系统简介
- 从Storm和Spark 学习流式实时分布式计算的设计
- 从Storm和Spark 学习流式实时分布式计算的设计
- 从Storm和Spark 学习流式实时分布式计算的设计
- 从Storm和Spark 学习流式实时分布式计算的设计
- 从Storm和Spark 学习流式实时分布式计算的设计
- Storm和Spark 学习流式实时分布式计算的设计
- 从Storm和Spark 学习流式实时分布式计算的设计
- Storm 实时计算分布式锁 Curator的使用
- strom 分布式的实时计算系统
- 在服务器上配置pytorch
- PDO中捕获SQL语句中的错误——告警模式
- 微信蓝牙硬件设备接入(2)
- 第九周项目3---利用二叉树遍历思想解决问题
- eclipse 配置svn
- 一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)
- PDO中捕获SQL语句中的错误——异常模式
- PDO中的错误处理errorCode方法
- PDO中的错误处理errorInfo方法
- HTML5 进阶系列:拖放 API 实现拖放排序
- 一脸懵逼学习Storm---(一个开源的分布式实时计算系统)
- SpringAOP拦截Controller,Service实现日志管理(自定义注解的方式)
- 关于okhttp的自定义拦截器
- centos 7 中docker 启动web服务,无法访问