kafka常用命令

来源:互联网 发布:tracert端口号 编辑:程序博客网 时间:2024/06/04 19:11

最近学习了kafka,以下是个人总结的一些命令 <^ ^>


  • 查看kafka内所有的topic
  • 查看指定topic的消费数据
  • 查看全部已激活过的topic的消费数据
  • 控制台向topic 生产数据,启动producer(生产者)
  • 主动消费topi里的数据,启动consumer(消费者)
  • 查看topic的分区配置情况
  • 创建一个topic
  • 删除一个topic

首先要去到Kafka的目录下

这里写图片描述

然后就可以输入命令啦


1.查看kafka内所有的topic

bin/kafka-topics.sh –list –zookeeper IOT-ZK01:2181/kafka

这里写图片描述


2.查看指定topic的消费数据

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker –group mtp-push –topic test –zookeeper 127.0.0.1:2181/kafka

这里写图片描述


3.查看全部已激活过的topic的消费数据 ( 就是已启用过的topic )

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker –group mtp-push –zookeeper IOT-ZK01:2181/kafka

这里写图片描述


4.启动producer(生产者) 控制台向topic 生产数据

bin/kafka-console-producer.sh –broker-list localhost:9092 –topic periodicChangeV2

这里写图片描述


5.启动consumer(消费者) 主动消费topi里的数据(数据会被消费,慎用)

bin/kafka-console-consumer.sh –zookeeper IOT-ZK01:2181/kafka –topic periodicChange –from-beginning

注:这里可以用 ‘grep’ 过滤筛选要消费的数据
这里写图片描述


6.查看topic的分区配置情况

bin/kafka-topics.sh –zookeeper IOT-ZK01:2181/kafka –topic periodicChangeV2 –describe

这里写图片描述


7.创建一个topic

bin/kafka-topics.sh –zookeeper IOT-ZK01:2181/kafka –create –topic TextPush –replication-factor 2 –partitions 5

注:replication-factor是备份因子数,partitions是分区数
这里写图片描述


8.删除一个topic(慎用)

bin/kafka-topics.sh –zookeeper IOT-ZK01:2181/kafka –delete –topic TextPush

注:1、删除kafka存储目录(server.properties文件log.dirs配置,默认为”/tmp/kafka-logs”)相关topic目录
2、如果配置了delete.topic.enable=true直接通过命令删除(如果没有配置这个topic不会正真的删除),如果命令删除不掉,直接通过zookeeper-client 删除掉broker下的topic即可。

这里写图片描述


附:kafka文档 http://kafka.apache.org/documentation/

原创粉丝点击