高效搭建Storm完全分布式集群
来源:互联网 发布:淘宝退货太多会怎么样 编辑:程序博客网 时间:2024/06/09 22:52
环境说明
1、硬件说明
使用三台PC机,角色分配如下
2、软件说明
约定所有软件都放在/usr/local/路径下
准备工作
1、安装jdk
2、配置SSH
Storm集群安装
安装流程图
1、安装Zookeeper集群
2、安装Storm依赖
zeromq、jzmq、python
2.1、安装zeromq
tar -zxvf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
是源码,需先编译
./configure检查编译环境
安装依赖
rpm -ivh libstdc++-devel-4.4.7-3.el6.i686.rpm
rpm -ivh gcc-c++-4.4.7-3.el6.i686.rpm
rpm -ivh libuuid-devel-2.17.2-12.9.el6.i686.rpm
./configure检查编译环境
make编译
make install安装
2.2、安装jzmq
unzip jzmq-master.zip
安装依赖
rpm -ivh autoconf-2.63-5.1.el6.noarch.rpm
rpm -ivh automake-1.11.1-4.el6.noarch.rpm
rpm -ivh libtool-2.2.6-15.5.el6.i686.rpm
在/usr/local/jzmq-master路径下
./autogen.sh
./configure
make
make install
2.3、检查python
which python
python -V
3、安装storm
3.1、unzip storm-0.8.2.zip
3.2.1、配置storm环境变量
# set storm environment
export STORM_HOME=/usr/local/storm-0.8.2
export PATH=$PATH:$STORM_HOME/bin
3.2.2、修改Storm的配置文件
vi storm.yaml
配置Zookeeper
配置storm
4、启动Storm集群
4.1、各节点启动ZookeeperzkServer.sh start
4.2、master启动Stormstorm nimbus > ./nimbus.log 2>&1 &
4.3、子节点启动bin/storm supervisor > ./supervisor.log 2>&1 &
4.4、master启动图形化管理界面进程(进程名core) storm ui > ./core.log 2>&1 &
5、启动验证
5.1 Java守护进程
5.1.1、 master
backtype.storm.daemon.nimbus
backtype.storm.ui.core
5.1.2、 slave
backtype.storm.daemon.supervisor
5.2 web端
http://hadoop100:8080/Storm集群完全分布式安装Successfully,欢迎留言交流
1 0
- 高效搭建Storm完全分布式集群
- 高效搭建Storm完全分布式集群
- 高效搭建Spark完全分布式集群
- Storm分布式集群搭建
- hadoop完全分布式集群搭建
- hadoop完全分布式集群搭建
- Hadoop完全分布式集群搭建
- ZooKeeper完全分布式集群搭建
- Hadoop完全分布式集群搭建
- spark完全分布式集群搭建
- 搭建完全分布式redis集群
- 搭建HBase完全分布式集群
- Hadoop完全分布式集群搭建
- Hadoop系统完全分布式集群搭建方法
- hadoop-2.4.0完全分布式集群搭建
- hadoop2.2.0完全分布式集群搭建
- 4台Hadoop集群完全分布式搭建
- Hadoop集群完全分布式搭建教程-CentOS
- 怎样从Linux终端管理进程:10个你必须知道的命令
- HDU 4022 Bombing STL 模拟题
- 今天找到一篇在JTextArea面板中,添加右键操作,分享给大家。
- HDU 4028 The time of a day STL 模拟题
- 从DOS bat启动停止SQL Server (MSSQLSERVER)服务
- 高效搭建Storm完全分布式集群
- sublime text 2安装zen coding的问题
- URAL - 1907 Coffee and Buns 容斥原理+数论
- 深入理解指针
- Autoit介绍
- 黑马程序员----WinForm入门小结
- comet在asp.net中的实现
- 理解矩阵(一)
- .bash_profile和.bashrc的区别(如何设置生效)