storm集群搭建
来源:互联网 发布:软件项目实施报告 编辑:程序博客网 时间:2024/05/30 19:34
一、集群部署如下:
192.168.215.90 主节点Nimbus
192.168.215.110 工作节点Supervisor
192.168.215.120 工作节点Supervisor
二、安装zookeeper集群(要保证集群各个节点的时间保持一致)
为保证集群各个节点的时间保持一致,需要创建一个定时器,同步服务器时间,命令如下:
crontab -e
加入如下内容: 1 * * * * /usr/sbin/ntpdate time.nist.gov
说明:每分钟去时间服务器同步一次时间
二、解压apache-storm-0.9.3-incubating.tar.gz,并配置环境变量
下载地址:https://storm.apache.org/downloads.html
配置环境变量,vi etc/profile,加入如下内容
export STORM_HOME=/usr/local/apache-storm-0.9.3
export PATH=...:$STORM_HOME/bin..
执行命令:source /etc/profile
三、修改文件conf/storm.yaml,适应命令:vi conf/storm.yaml ,加入如下内容:
storm.zookeeper.servers:
- "192.168.215.90"
- "192.168.215.110"
- "192.168.215.120"
nimbus.host: "192.168.215.90"
storm.local.dir: "/usr/local/apache-storm-0.9.3/tmp"
注意storm配置文件写法:
使用两个空格作为一级缩进是 YAML 的约定,不能使用制表符(Tab)来代替
以“:”为结束符的字符串,代表了一个键名,“:”后面则是键值。“:”和键值之间必须有至少一个空格。
列表的元素前面的“-”必不可少,并且要跟随至少一个空格。也可以使用
- [value1, value2, value3] 表示列表
四、通过远程拷贝命令,把90上storm到110、120上
scp -r /usr/local/apache-storm-0.9.3 192.168.215.110:/usr/local/
scp -r /usr/local/apache-storm-0.9.3 192.168.215.120:/usr/local/
五、 通过远程拷贝命令,把90上/etc/profile到110、120上
scp -r /etc/profile 192.168.215.110:/etc
scp -r /etc/profile 192.168.215.120:/etc
六、启动服务
在90节点上,启动主节点:nohup storm nimbus >/dev/null 2>&1 &
使用jps命令查看,如下图所示:
分别在110、120上,启动工作节点:nohup storm supervisor >/dev/null 2>&1 &
在90节点上,启动UI后台程序:nohup storm ui >/dev/null 2>&1 &,可通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息
分别在90、110、120上,启动log后台程序:nohup storm logviewer >/dev/null 2>&1 &
七、验证集群是否搭建成功
在浏览器输入http://192.168.215.90:8080,看到下图,则说明storm集群搭建成功
- Twitter Storm: 搭建storm集群
- Storm集群搭建
- 搭建Storm集群
- Storm集群搭建
- Storm集群搭建
- storm集群环境搭建
- Storm集群搭建
- Storm集群搭建
- Storm集群搭建
- 006-storm集群搭建
- storm集群搭建
- Storm集群搭建
- 搭建Storm集群
- Storm集群搭建
- Storm分布式集群搭建
- storm集群搭建
- Storm集群搭建
- 搭建storm集群
- 地址/数据/控制总线原理讲解
- 在linux上搭建gtest
- 人生感悟
- 5504 GT and sequence
- 网站技术点汇总
- storm集群搭建
- Android 事件分发机制详解--真正的解析
- Merge Two Sorted Lists(C++)
- 天声人語 20151018 「老益」に至るみち
- 面向对象第二次作业参考代码
- kali linux解决LC_CTYPE,LC_ALL的设置问题
- [黑马训练营]IOS C语言分支语句
- ARM体系架构之——汇编指令集
- 解决Android sdk docs文档访问过慢(不能再国内访问)的问题