从头开始学kafka
来源:互联网 发布:appcleaner中文版 mac 编辑:程序博客网 时间:2024/05/29 16:07
###安装部署
1. kafka核心在于集群,所以在此不讲解单节点配置,需先配置好zookeeper环境,详见zookeeper配置文档
2. 以三台虚拟机为例,详细配置过程如下:
a.进入kafka目录下,vim config/server.properties
修改brokerid:这个每个server(broker)必须唯一,写数字
修改hostname:这个也是唯一的,IP即可
修改zookeeper.connect = ${ip},${ip},${ip}
###常用命令
3. 启动kafka服务
a.先启动zookeeper再启动kafka
b.启动zookeeper:/usr/local/soft_tool/zookeeper-3.4.5/bin/zkServer.sh start
c.启动kafka:bin/kafka-server-start.sh -daemon ./config/server.properties
4.测试kafka服务
a.创建topic
bin/kafka-topics.sh --create --zookeeper 10.201.26.205:2181,10.201.26.206:2181,10.201.26.207:2181 --replication-factor 1 --partitions 2 --topic linux_topic
bin/kafka-topics.sh --create --zookeeper 10.201.26.215:2181 --replication-factor 1 --partitions 2 --topic linux_topic
bin/kafka-topics.sh --create --zookeeper 172.16.248.128:2181 --replication-factor 1 --partitions 2 --topic topic1
b.写入数据测试
bin/kafka-console-producer.sh --broker-list 10.201.26.205:9092,10.201.26.206:9092,10.201.26.207:9092 --topic linux_topic
bin/kafka-console-producer.sh --broker-list 192.1.1.213:9092 --topic yuke
bin/kafka-console-producer.sh --broker-list 172.16.248.128:9092 --topic linux_topic
c.接收数据测试
bin/kafka-console-consumer.sh --zookeeper 10.201.26.205:2181,10.201.26.206:2181,10.201.26.207:2181 --topic linux_topic --from-beginning
bin/kafka-console-consumer.sh --zookeeper 192.1.1.205:2181 --topic yuke
bin/kafka-console-consumer.sh --zookeeper 172.16.248.128:2181 --topic linux_topic --from-beginning
d.查看topic
bin/kafka-topics.sh --zookeeper 10.201.26.217:2181 --list
#####删除topic:
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test1
1. kafka核心在于集群,所以在此不讲解单节点配置,需先配置好zookeeper环境,详见zookeeper配置文档
2. 以三台虚拟机为例,详细配置过程如下:
a.进入kafka目录下,vim config/server.properties
修改brokerid:这个每个server(broker)必须唯一,写数字
修改hostname:这个也是唯一的,IP即可
修改zookeeper.connect = ${ip},${ip},${ip}
###常用命令
3. 启动kafka服务
a.先启动zookeeper再启动kafka
b.启动zookeeper:/usr/local/soft_tool/zookeeper-3.4.5/bin/zkServer.sh start
c.启动kafka:bin/kafka-server-start.sh -daemon ./config/server.properties
4.测试kafka服务
a.创建topic
bin/kafka-topics.sh --create --zookeeper 10.201.26.205:2181,10.201.26.206:2181,10.201.26.207:2181 --replication-factor 1 --partitions 2 --topic linux_topic
bin/kafka-topics.sh --create --zookeeper 10.201.26.215:2181 --replication-factor 1 --partitions 2 --topic linux_topic
bin/kafka-topics.sh --create --zookeeper 172.16.248.128:2181 --replication-factor 1 --partitions 2 --topic topic1
b.写入数据测试
bin/kafka-console-producer.sh --broker-list 10.201.26.205:9092,10.201.26.206:9092,10.201.26.207:9092 --topic linux_topic
bin/kafka-console-producer.sh --broker-list 192.1.1.213:9092 --topic yuke
bin/kafka-console-producer.sh --broker-list 172.16.248.128:9092 --topic linux_topic
c.接收数据测试
bin/kafka-console-consumer.sh --zookeeper 10.201.26.205:2181,10.201.26.206:2181,10.201.26.207:2181 --topic linux_topic --from-beginning
bin/kafka-console-consumer.sh --zookeeper 192.1.1.205:2181 --topic yuke
bin/kafka-console-consumer.sh --zookeeper 172.16.248.128:2181 --topic linux_topic --from-beginning
d.查看topic
bin/kafka-topics.sh --zookeeper 10.201.26.217:2181 --list
#####删除topic:
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test1
阅读全文
0 0
- 从头开始学kafka
- 从头开始学代理
- 从头开始学算法
- 从头开始学JAVA
- 从头开始学C
- 从头开始学电路
- 从头开始学jsp
- 从头开始学JAVA
- 从头开始学JQ
- 从头开始学ElasticSearch
- 从头开始学Shark II
- 从头开始学java--数组
- 从头开始学java-继承
- 从头开始学java--多态
- 从头开始学java--包
- 从头开始学C语言
- 从头开始学java<一>
- 从头开始学java<二>
- 找到数组中出现次数超过一半的数字
- pandas 1
- IE8开发者工具 有打开却看不见
- 学习笔记20170718
- Sqllite增查数据经典写法
- 从头开始学kafka
- 快速提高CSDN访问量
- Leetcode链表部分题目常用方法技巧总结
- SSD真的安全吗?你看或者不看,真相就在这里…
- 浮动Ip方式部署iscsi集群(以sheepdog为例)
- 文章标题
- linux 共享文件夹供windows访问
- linux的目录结构
- 欢迎使用CSDN-markdown编辑器