Kafka 安装&常用操作命令
来源:互联网 发布:写私密日记的软件 编辑:程序博客网 时间:2024/06/07 14:04
Kafka https://kafka.apache.org/
Apache Kafka是由Apache软件基金会开发的一个开源消息中间件项目,由Scala写成。Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。—– from wikipedia
Kafka 安装
修改配置文件
先备份cp /home/ning/kafka/config/server.properties /home/ning/kafka/config/server.properties.bak再修改vi /home/ning/kafka/config/server.properties
#全局唯一编号,不能重复broker.id=0#用来监听链接的端口,生产者和消费者在此端口建立连接port=9092#处理网络请求的线程数量num.network.threads=3#用来处理磁盘IO的线程数量num.io.threads=8#发送套接字的缓冲区大小socket.send.buffer.bytes=102400#接受套接字的缓冲区大小socket.receive.buffer.bytes=102400#请求套接字的缓冲区大小socket.request.max.bytes=104857600#运行日志存放的路径log.dirs=/tmp/kafka-logs#topic在当前broker上的分片个数num.partitions=2#用来恢复和清理data下数据的线程数量num.recovery.threads.per.data.dir=1#segment文件保留的最长时间log.retention.hours=168#滚动生成新的segment文件的最大时间log.roll.hours=168
修改每个服务器上的broker.id
启动集群
kafka-server-start.sh config/server.properties
Kafka常用操作命令
查看当前服务器中的所有topic
bin/kafka-topics.sh --list --zookeeper zk01:2181
创建topic
./kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 3 --topic first
删除topic
bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
通过shell命令发送消息
kafka-console-producer.sh --broker-list kafka01:9092 --topic itheima
通过shell消费消息
bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test1
查看消费位置
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup
查看某个Topic的详情
kafka-topics.sh --topic test --describe --zookeeper zk01:2181
阅读全文
0 0
- Kafka 安装&常用操作命令
- kafka常用操作命令
- kafka系列-kafka常用操作
- 常用Kafka命令实现
- kafka常用操作
- kafka 常用操作
- Kafka基础操作命令
- kafka命令操作
- Kafka操作命令
- kafka安装及命令
- kafka安装命令记录
- kafka常用运维命令
- kafka常用简单命令记录
- kafka常用操作(不定期更新)
- kafka入门-基本命令操作
- #####好####Kafka基本操作命令
- Storm 集群安装&常用操作命令
- Linux中安装及常用操作命令
- 计算机学院大学生程序设计竞赛(2017新生赛) 1004 正品的概率
- 解决spark-md5.js和java计算文件md5值不一致问题
- android屏幕状态检测, 动态广播
- String储存数据库字段限长Utils
- Swift 【DESIGNATED,CONVENIENCE 和 REQUIRED】
- Kafka 安装&常用操作命令
- ICMP TYPE-CODE查阅表
- jquery treeview 属性模块
- php 文常练习
- node.js学习第1天,common.js组件化概念 fs http path url express框架
- JavaScript中的闭包
- 面试的技巧,可以多拿5K以上
- 机器学习之文本分类-从词频统计到神经网络(二)
- Cannot deserialize instance of java.lang.String out of START_ARRAY/START_OBJECT token,RestTemplate小坑