storm安装以及配置
来源:互联网 发布:仓位在线的数据真实吗 编辑:程序博客网 时间:2024/05/19 23:00
1:复制虚拟机,由于只是运用系统,不需要从新配置网卡等,点击我已移动即可。
2:修改hostname
hostnamectl --static set-hostname storm01
vi /etc/hosts
192.168.1.123 storm01
192.168.1.117 storm02
192.168.1.124 storm03
3:配置windows host
4: cd /export/servers/
ln -s apache-storm-0.9.6 storm
5:/export/servers/apache-storm-0.9.6/conf/storm.yaml配置
#指定storm使用的zk集群
#storm.zookeeper.server:
# - "zk01"
# - "zk02"
# - "zk03"
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "storm01"
#指定nimbus启动jvm最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动jvm最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上,每个wokrer启动jvm最大可用大小
wokrer.childopts: "-Xmx768m"
#指定ui启动jvm最大可用内存大小,ui服务一般与nimbus同在一个节点上
ui.childopts: "-Xmx768m"
#指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
supervisor.slots.ports:
-6700
-6701
-6702
-6703
配置文件'-'和':'符号后面要添加空格
6:vi /etc/profile
export STORM_HOME=/export/servers/storm
export PATH=${STORM_HOME}/bin:$PATH
source /etc/profile
7:分发:scp -r apache-storm-0.9.6 storm03:/export/servers/
scp /etc/profile storm02:/etc/
8:启动组件
在nimbus指定的机器上启动:storm nimbus
nimbus指定的机器上启动:storm ui
在其他节点上启动:storm supervisor
nimbus.host:/8080,查看ui界面
9:任务管理
提交任务:storm jar jar路径 拓扑包名.类名 拓扑名称
storm jar /export/servers/storm/examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount
杀死任务:storm kill 拓扑名称 -w 10
-w[等待秒数]杀死任务
停用:storm deactivte 拓扑名称
仅仅只是停用获取数据,但是已经获取的数据还是在处理
重新部署:storm rebalance 拓扑名称
在平衡重新分配集群任务,使各个集群的节点使用资源平均
启动任务:storm activate 拓扑名称
2:修改hostname
hostnamectl --static set-hostname storm01
vi /etc/hosts
192.168.1.123 storm01
192.168.1.117 storm02
192.168.1.124 storm03
3:配置windows host
4: cd /export/servers/
ln -s apache-storm-0.9.6 storm
5:/export/servers/apache-storm-0.9.6/conf/storm.yaml配置
#指定storm使用的zk集群
#storm.zookeeper.server:
# - "zk01"
# - "zk02"
# - "zk03"
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "storm01"
#指定nimbus启动jvm最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动jvm最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上,每个wokrer启动jvm最大可用大小
wokrer.childopts: "-Xmx768m"
#指定ui启动jvm最大可用内存大小,ui服务一般与nimbus同在一个节点上
ui.childopts: "-Xmx768m"
#指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
supervisor.slots.ports:
-6700
-6701
-6702
-6703
配置文件'-'和':'符号后面要添加空格
6:vi /etc/profile
export STORM_HOME=/export/servers/storm
export PATH=${STORM_HOME}/bin:$PATH
source /etc/profile
7:分发:scp -r apache-storm-0.9.6 storm03:/export/servers/
scp /etc/profile storm02:/etc/
8:启动组件
在nimbus指定的机器上启动:storm nimbus
nimbus指定的机器上启动:storm ui
在其他节点上启动:storm supervisor
nimbus.host:/8080,查看ui界面
9:任务管理
提交任务:storm jar jar路径 拓扑包名.类名 拓扑名称
storm jar /export/servers/storm/examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount
杀死任务:storm kill 拓扑名称 -w 10
-w[等待秒数]杀死任务
停用:storm deactivte 拓扑名称
仅仅只是停用获取数据,但是已经获取的数据还是在处理
重新部署:storm rebalance 拓扑名称
在平衡重新分配集群任务,使各个集群的节点使用资源平均
启动任务:storm activate 拓扑名称
0 0
- storm安装以及配置
- Storm搭建、安装、以及环境配置
- 【Storm】storm安装、配置、使用以及Storm单词计数程序的实例分析
- 【Storm】storm安装、配置、使用以及Storm单词计数程序的实例分析
- Storm 的安装配置
- storm安装配置
- Storm安装配置
- Storm安装配置
- storm安装配置
- storm安装配置
- Storm安装配置
- ubuntu storm安装配置
- storm安装配置
- storm集群安装配置
- Storm的安装配置
- Storm安装配置
- storm集群安装配置
- storm安装和配置
- mysql数据库乱码解决方案
- kafka配置以及安装
- yii2-redis Calling unknown method: yii\redis\Connection::hGet()
- UIApplication 深入研究及应用
- JAVA 数据类型转换
- storm安装以及配置
- 免安装(绿色)版Sublime Text如何设置右键启动
- tar.gz包转成rpm包
- 现代操作系统应用开发课程学习
- Ubuntu14.04安装git工具出错
- 数据驱动决策:BI在零售业的数据化管理
- zookeeper配置以及安装
- android实现手写板和涂鸦功能
- MIT评2017十大技术突破 刷脸支付上榜