搭建HA storm集群
来源:互联网 发布:淘宝模板页头 编辑:程序博客网 时间:2024/06/05 19:12
各节点分配:
Nimbus Supervisor Zookeeper
CentOS15 1 1
CentOS19 1 1
CentOS20 1 1
搭建zookeeper集群:
忘记了去查之前的笔记
解压软件storm:
tar zxvf stormXXX
编辑配置文件:vim conf/storm.yaml
# limitations under the License.
storm.zookeeper.servers:
- “CentOS15”
- “CentOS19”
- “CentOS20”
storm.local.dir: “/tmp/storm”
nimbus.host: “CentOS15”
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
##### These MUST be filled in for a storm configuration
# storm.zookeeper.servers:
# - “CentOS15”
# - “CentOS19”
# - “CentOS20”
在storm目录中创建logs目录
$ mkdir logs
集群当中所有服务器,同步所有配置!
启动ZooKeeper集群
CentOS15上启动Nimbus(注意在/opt/storm目录下执行)
./bin/storm nimbus >> ./logs/nimbus.out 2>&1 & tail -f logs/nimbus.log
./bin/storm ui >> ./logs/ui.out 2>&1 & tail -f logs/ui.log
节点CentOS19和CentOS20启动supervisor,按照配置,每启动一个supervisor就有了4个slots
./bin/storm supervisor >> ./logs/supervisor.out 2>&1 & tail -f logs/supervisor.log
(当然node1也可以启动supervisor)
界面查看
http://node1:8080/
提交任务到Storm集群当中运行:
$ ./bin/storm jar examples/storm-starter/storm-starter-topologies-0.10.0.jar storm.starter.WordCountTopology test
环境变量可以配置也可以不配置
export STORM_HOME=/opt/sxt/storm
export PATH=
观察关闭一个supervisor后,nimbus的重新调度
再次启动一个新的supervisor后,观察,并rebalance
- 搭建HA storm集群
- 搭建hbase HA集群
- Hadoop HA 集群搭建
- 搭建Hadoop HA集群
- Hadoop HA集群搭建
- HBase HA 集群搭建
- HA集群搭建
- HBase HA 集群搭建
- HA集群搭建
- Hadoop---HA集群搭建
- Twitter Storm: 搭建storm集群
- Storm集群搭建
- 搭建Storm集群
- Storm集群搭建
- Storm集群搭建
- storm集群环境搭建
- Storm集群搭建
- Storm集群搭建
- Unity 数据存储
- pip3安装mysql-python报错:Unable to find vcvarsall.bat解决方法
- mybatis--()二级缓存
- 高德地图使用
- Linux中修改默认python版本
- 搭建HA storm集群
- unity 简单手势判断(一)
- List添加多个同名map时的一个注意事项
- 自定义圆环进度条
- Spark Streaming 入门
- byte数组处理工具类分享,字节数组拼接,字节数组拆分
- 软件测试思想者
- 谈一谈"大公司定标准、中公司搞专利、小公司卖苦力"
- LeetCode.345 Reverse Vowels of a String