storm安装以及配置

来源:互联网 发布:仓位在线的数据真实吗 编辑:程序博客网 时间:2024/05/19 23:00
1:复制虚拟机,由于只是运用系统,不需要从新配置网卡等,点击我已移动即可。
2:修改hostname
hostnamectl --static set-hostname storm01
vi /etc/hosts
192.168.1.123 storm01
192.168.1.117 storm02
192.168.1.124 storm03
3:配置windows host
4: cd /export/servers/
   ln -s apache-storm-0.9.6 storm
5:/export/servers/apache-storm-0.9.6/conf/storm.yaml配置
#指定storm使用的zk集群
#storm.zookeeper.server:
#       - "zk01"
#       - "zk02"
#       - "zk03"
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "storm01"
#指定nimbus启动jvm最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动jvm最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上,每个wokrer启动jvm最大可用大小
wokrer.childopts: "-Xmx768m"
#指定ui启动jvm最大可用内存大小,ui服务一般与nimbus同在一个节点上
ui.childopts: "-Xmx768m"
#指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
supervisor.slots.ports:
-6700
-6701
-6702
-6703
配置文件'-'和':'符号后面要添加空格
6:vi /etc/profile
export STORM_HOME=/export/servers/storm
export PATH=${STORM_HOME}/bin:$PATH
  source /etc/profile
7:分发:scp -r apache-storm-0.9.6 storm03:/export/servers/
scp /etc/profile storm02:/etc/
8:启动组件
在nimbus指定的机器上启动:storm nimbus
nimbus指定的机器上启动:storm ui
在其他节点上启动:storm supervisor
nimbus.host:/8080,查看ui界面
9:任务管理
提交任务:storm jar jar路径 拓扑包名.类名 拓扑名称
storm jar /export/servers/storm/examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount
杀死任务:storm kill 拓扑名称 -w 10
-w[等待秒数]杀死任务
停用:storm deactivte 拓扑名称
仅仅只是停用获取数据,但是已经获取的数据还是在处理
重新部署:storm rebalance 拓扑名称
在平衡重新分配集群任务,使各个集群的节点使用资源平均
启动任务:storm activate 拓扑名称







0 0
原创粉丝点击