storm实时流式计算框架集群搭建过程
来源:互联网 发布:机器人模型软件 编辑:程序博客网 时间:2024/04/29 19:32
http://blog.csdn.net/comaple/article/details/7896167
这几天在其他同事的帮助下,调研了twitter的开源流式计算框架storm的使用,下面分享一下storm集群的安装配置过程。以作备忘之用。
我的实验机器为:195和196
如果转载请注明出处:comaple的博客
首先:安装依赖包
1, ZeroMQ 2.1.7
2, JZMQ
3, Java
4, Python
5, Unzip
这里只需要安装1,2就可以了。下面是遇到的一些问题:
安装zeroMQ
下载zeroMQ2.1.7 http://www.zeromq.org/area:download
解压:tar –xvf zeromq-2.1.7.tar.gz
Cd 到bin目录:
./autogen.sh 如果没有找到configure文件时要运行这一步。
./configure
configure: error: cannot link with -luuid, install uuid-dev. 运行时如果报这个错解决方案如下:
yum install uuid-dev 提示找不到该依赖包
yum install uuid* 直接用* ok
./configure 再次运行configure还是报错
configure: error: cannot link with -luuid, install uuid-dev.
上网搜索可能是还缺另外一个包
yum install e2fsprogs* ok
make install
安装JZMQ
a) 下载jzmq.zip https://github.com/nathanmarz/jzmq
b) Cd到bin目录./autogen.sh
c) ./configure
d) make install
安装storm集群
配置说明:10.10.249.195:nimbus 10.10.249.196: supervisor
Storm集群需要zookeeper集群的支持所以应该先安装zookeeper集群。再配置storm集群,下面是storm集群的配置:
10.10.249.195上的配置:
a) 下载storm-0.7.4.zip https://github.com/nathanmarz/storm/downloads
b) 解压后修改conf/storm.yaml文件,
storm.zookeeper.servers:
- "10.10.249.195"
- "10.10.249.196"
c) # nimbus.host:"nimbus" 这个不用改,nimbus负责提交任务,分配任务。相当于namenode节点。
配置好以后到bin目录下:
./storm nimbus 启动storm主节点服务
./storm ui 启动storm监控页面:监控地址:http://hostname:8080
10.10.249.196上的配置:
1,修改storm.yaml 文件:
storm.zookeeper.servers:
-"10.10.249.195"
-"10.10.249.196"
nimbus.host: "10.10.249.195"
#这个是storm将要启动几个本地work,一个端口对应一个work。
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
2,启动supervisor
./storm supervisor
提交任务:
10.10.249.195上面:
./storm jar stormWork.jar SearchKeywordTopNTopology"word-count"
这里有用到的jar文件大家可以试一试:stormWork.jar
监控storm运行情况:
- storm实时流式计算框架集群搭建过程
- storm实时流式计算框架集群搭建过程
- storm实时流式计算框架集群搭建过程
- storm实时流式计算框架集群搭建过程
- Storm+Kafka实时计算框架搭建
- 实时计算框架Storm本地模式搭建
- storm分布式实时计算框架搭建
- 【流式计算】Twitter Storm: 搭建storm集群
- 实时计算框架之一:Storm之框架搭建
- Storm流式实时计算开源框架(三)
- Storm流式实时计算开源框架(二)
- Storm流式实时计算开源框架(一)
- 实时计算框架 Storm 的一步步搭建教程
- 实时计算框架storm基础
- Storm分布式实时流计算框架相关技术总结
- Storm分布式实时流计算框架相关技术总结
- Storm分布式实时流计算框架相关技术总结
- Clojure 实战 (5):Storm 实时计算框架
- LoadRunner命令行的两种执行方式
- kill -3无法输出java堆栈信息,使用jstack
- Oracle VM VirtualBox 安装增强功能
- jquery中prop()方法和attr()方法的区别
- awr_记录学习生成awr报告的过程
- storm实时流式计算框架集群搭建过程
- C++ 关键字typeid
- Unity3d版本控制
- ADF EO 字段 唯一性验证
- mysql 教程
- 关于JAVA多线程并发synchronized的测试与合理使用
- Dropbox中文版正式发布
- 使用Eclipse调试Java程序的10个技巧
- 数据库乱码解决方案