storm 1.1.0 与 kafka 2.10-0.10.2.1的安装部署
来源:互联网 发布:java jsoup 爬虫实例 编辑:程序博客网 时间:2024/06/07 05:28
1、安装Zookeeper
由于这两者都需要Zookeeper的支持,因此需要安装zookeeper集群,然后用zkServer.sh start启动集群
2、解压storm安装包
在master机器上解压storm 1.1.0-tar.gz到/usr/local下 sudo tar -zxvf apache-storm-1.1.0-tar.gz -C /usr/local
3、更改文件所有者
进入 /usr/local中,将storm-1.1.0改为storm,并且改变文件所有者 sudo mv ./apache-storm-1.1.0 ./storm
sudo chown -R hadoop:hadoop ./storm
4、修改storm的配置文件storm.yaml
按照图中所示配置zookeeper链接和nimbus机器、工作目录(事先创立好)、supervisor的工作端口
5、将master上的storm发往slave1\slave2
scp -r /usr/local/storm slave1:~
scp -r /usr/local/storm slave2:~
6、在slave1、slave2上分别建立storm工作目录,并将storm移动至/usr/local
7、在master上启动nimbus并查看相关进程(可先配置storm环境变量)
storm nimbus &
8、在slave1、slave2上启动supervisor进程,并用jps查看相关进程
9、在master上启动ui线程,并通过web页面(master:8080)查看信息
storm ui &
10、解压kafka安装包
在master机器上解压kafka_2.10-0.10.2.1-tar.gz到/usr/local下 sudo tar -zxvf kafka_2.10-0.10.2.1-tar.gz -C /usr/local
11、更改文件名和所有者
进入/usr/local sudo mv ./kafka_2.10-0.10.2.1 ./kafka
sudo chown -R hadoop:hadoop ./kafka
12 、修改kafka配置文件 conf/server.properties
如图所示,配置block.id(每台机器不一样)、zookeeper信息、日志目录、和分区大小
13、建立上一步骤所配置的日志目录
mkdir kafka-logs
14、将kafka目录发往slave1\slave2,并且移动到这两台机器的/usr/local上 ,在两台机器上都建立kafka-logs目录
scp -r /usr/local/kafka slave1:~
scp -r /usr/local/kafka slave2:~
15、修改slave1\slave2上的配置文件(主要修改broker.id)
slave1:
slave2:
16、在每台节点上启动broker,并用jps检验
kafka-server-start.sh /usr/local/kafka/config/server.properties
17、在kafka集群建立topic
kafka-topics.sh --create --zookeeper zookeeper机器地址 --replication-factor 备份数 --partitions topic切为几份 --topic topic名
用 kafka-topics.sh --list --zookeeper zookeeper机器地址
查看所有主题
18、用一个producer向某一个topic中写入消息
kafka-console-producer.sh --broker-list broker机器地址 --topic 主题名
19、用一个comsumer从某一个topic中读取信息 (from-beginning表示从头读)
kafka-console-consumer.sh --zookeeper zookeeper机器地址 --from-beginning --topic 主题名
20、在生产者中写入数据,检验消费者终端的输出
- storm 1.1.0 与 kafka 2.10-0.10.2.1的安装部署
- 新版flume+kafka+storm安装部署
- 新版flume+kafka+storm安装部署
- 详解Storm的原理与安装部署
- kafka的安装部署
- apache storm的安装部署
- storm笔记 -- 与kafka的集成
- storm笔记 -- 与kafka的集成
- flume+kafka+storm单机部署
- presto的安装与部署(对接kafka)
- presto的安装与部署(对接kafka)
- Storm 与Kafka 整合
- storm与kafka结合
- Storm与Kafka集成
- kafka与storm集成
- Storm on YARN 安装部署与感悟
- centos上storm 安装与部署
- Kafka学习笔记-基本概念与安装部署
- excel2013导入SQL
- Java并发容器之ArrayBlockingQueue
- spring集成redis
- 应用层协议的内容与基本原理
- 把妹需要勇敢,心有猛虎,细嗅蔷薇
- storm 1.1.0 与 kafka 2.10-0.10.2.1的安装部署
- WebLogic使用总结(七)——WebLogic部署Web应用并绑定域名
- 2017年6月28日
- 网络编程(基于winsocket)-- 常用函数介绍(一)
- 使用 Map + 定时器 定时存取微信 Token
- Linux内核分析
- 各位相加
- js 异步实现与编程
- Injection for Xcode:成吨的提高开发效率