二十六、storm安装与初识
来源:互联网 发布:js自定义函数 编辑:程序博客网 时间:2024/05/21 19:28
storm是如今用来做实时数据处理的首选,它的高效以及基于分布式系统的考虑备受技术团队青睐,尤其是实时日志处理,以及基于日志的实时分析,从本章节开始我们来认识一下这个强大的开源工具,并通过这个工具来做一个非常有意思的事情,敬请期待
请尊重原创,转载请注明来源网站www.shareditor.com以及原始链接地址
安装zookeeper
zookeeper是storm运行强依赖
注意:
1)用supervision启动zookeeper,保证不能退出
2)用cron定期清理zookeeper的日志数据,不然磁盘会很快占满(以后再研究)
安装步骤:
wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gztar zxvf zookeeper-3.4.8.tar.gzcd zookeeper-3.4.8/cp conf/zoo_sample.cfg conf/zoo.cfg
修改conf/zoo.cfg,把
dataDir=/tmp/zookeeper
改成
dataDir=/var/zookeeper
创建/var/zookeeper/myid,内容为数字1
执行
./bin/zkServer.sh start
成功启动
验证方法:
./bin/zkCli.sh
输入help命令查看帮助
为了让zookeeper异常退出后能自动重启,需要安装deamontools
wget http://cr.yp.to/daemontools/daemontools-0.76.tar.gztar zxvf daemontools-0.76.tar.gzcd admin/daemontools-0.76/
vim src/error.h 找到:extern int errno; 改成:#include <errno.h>
执行
package/install
这时已经安装好了
[root@centos7vm daemontools-0.76]# which supervise/usr/local/bin/supervise
创建/data/service/zookeeper/run文件,内容为:
#!/bin/bashexec 2>&1exec /data/zookeeper-3.4.8/bin/zkServer.sh start
增加执行权限
chmod +x /data/service/zookeeper/run
杀了之前手工启动的zookeeper,然后执行
cd /data/service/zookeepernohup supervise /data/service/zookeeper &
这时zookeeper被supervice启动了,尝试杀一次zookeeper后还会自动起来
请尊重原创,转载请注明来源网站www.shareditor.com以及原始链接地址
参考:http://zookeeper.apache.org/doc/r3.3.3/zookeeperAdmin.html
安装storm
wget http://apache.fayea.com/storm/apache-storm-1.0.1/apache-storm-1.0.1.tar.gztar apache-storm-1.0.1.tar.gzcd apache-storm-1.0.1
修改conf/storm.yaml,添加如下配置
storm.zookeeper.servers: - "127.0.0.1"nimbus.seeds: ["127.0.0.1"]supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703
启动storm,执行
./bin/storm nimbus &./bin/storm supervisor &./bin/storm ui &
打开web界面,http://127.0.0.1:8080
界面如下:
安装完成
讲讲storm
storm系统由一个nimbus节点和多个supervisor节点组成,上面因为是部署单机版本,所以只启动了一个supervisor。他们之间是通过zookeeper协调运行的,所以必须依赖zookeeper。nimbus负责分配任务和监控任务,本身不做计算,supervisor负责真正的计算任务。
storm上运行的任务和map-reduce的不同在于它运行的是一种topology任务,也就是一种有向无环图形式的任务服务。
上面配置文件中配置的supervisor.slots.ports包含了4个port,也就是这个supervisor可以监听4个端口同时并发的执行4个任务,因此在web界面里我们看到Free slots是4
在map-reduce系统上运行的任务我们叫做mapper和reducer,相对之下,在storm上运行的任务叫做spout(涛涛不绝地喷口)和bolt(螺栓),在拓扑里传递的消息叫做tuple。spout其实就是信息产生的源头,而bolt就是处理逻辑
下一节我们来试验一些简单的用途,来发觉storm可以用来做些什么事情
- 二十六、storm安装与初识
- Storm 入门与安装
- Storm安装与启动
- storm初识
- storm 初识
- 初识storm
- Storm初识
- storm初识
- htk安装与初识
- storm的学习与使用(二)
- 初识STORM 快速入手
- storm初识印象
- 初识Apache Storm
- 【storm】storm集群安装
- 初识MongoDB 介绍与安装
- 初识redis:安装与配置
- 初识 curl (安装与示例)
- 初识redis:安装与配置
- 工具类之--SharedPrefsUtil
- 二十四、ES(elasticsearch)搜索引擎安装和使用
- ubuntu下python+opencv3.2+SIFT特征点配置
- 前端基础小记
- 二十五、为你的网站添加强大的搜索功能
- 二十六、storm安装与初识
- socket端添加地址复用
- 二十七、开发第一个storm任务
- CF 235C Cyclical Quest
- 过滤器
- 二十八、在storm上运行python程序
- 二十九、在storm上运行python程序(修正)
- JConsole 使用总结
- ionic list 头像