安装配置Kafka
来源:互联网 发布:淘宝助理宝贝搬家 编辑:程序博客网 时间:2024/04/29 05:15
1,下载kafka安装包,解压缩,tar -zxvf kafka_2.10-0.8.2.1.tgz
2,修改/etc/profile文件,增加KAFKA_HOME变量
3,进入KAFKA_HOME/config目录
(1)修改server.properties文件
broker.id=0
host.name=master(在slave1中,master-->slave1)
log.dirs=/datastore/kafka/logs(建立该目录)
zookeeper.connect=master:2181,slave1:2181,slave2:2181
(2)修改zookeeper.properties文件
dataDir=/datastore/zookeeper/data(建立该目录)
4,复制到其他节点
cd /usr/local
scp -rq kafka-0.8.2.1 slave1:/usr/local
scp -rq kafka-0.8.2.1 slave2:/usr/local
进入slave1和slave2修改server.properties文件
安装完毕,进行测试:
1,首先在各节点上启动zookeeper
zkAll.sh start(该脚本乃本人在master节点ZOOKEEPER_HOME/bin目录下自定义的脚本,用于同时启动集群中所有节点上的zookeeper)
2,在各节点上启动kafka,
kafka-server-start.sh $KAFKA_HOME/config/server.properties
3,在master上新建一个TOPIC,
kafka-topics.sh --create --topic test --replication-factor 3 --partitions 2 --zookeeper master:2181
4,在slave1上开一个端口发生消息至kafka(slave1模拟producer)
kafka-console-producer.sh --broker-list slave1:9092 --sync --topic test
5,在slave2上,开一个端口显示消息的消费(slave2模拟consumer)
kafka-console-consumer.sh --zookeeper slave2:2181 --topic test --from-beginning
可以为一个producer创建多个consumer对应
6,在slave1的终端输入内容,this xxxx
其中的Hello Kafka是上一次在test topic中进行测试时的输入.
连接两个consumer:
0 0
- Kafka 安装配置
- kafka安装配置简介
- kafka安装配置
- Apache Kafka安装配置
- Kafka安装与配置
- 安装配置kafka集群
- kafka集群安装、配置
- 安装配置Kafka
- kafka集群安装配置
- Kafka安装配置测试
- Kafka 安装配置
- Kafka安装配置、常用命令
- Linux安装配置Kafka
- kafka安装配置
- kafka安装配置
- Kafka安装配置测试
- kafka配置以及安装
- kafka安装与配置
- 在写一篇关于elance odesk的
- gsoap一处bug引起的崩溃分析
- Netty系列之Netty高性能之道
- IOS单元测试的扩展工具OCHamcrest
- Codeforces Round #321 (Div. 2) ABC
- 安装配置Kafka
- Cocos2d-js创建构造注册事件监听回调函数
- 在移动端获取服务端文件的大小 this.fileSize = conn.getContentLength();
- NSMutableAttributedString与NSString相互转换
- org.springframework.beans.factory.BeanDefinitionStoreException
- android.view.WindowManager$BadTokenException错误(dialog使用的错误)
- 认识真实的自己
- JSP中的errorPage和isErrorPage
- 关东升给的ios学习路线图(可以借鉴)