Kafka的基本shell命令
来源:互联网 发布:python 图形化界面 编辑:程序博客网 时间:2024/06/07 02:35
Kafka的基本shell命令
1 创建Kafka topic
bin/kafka-topics.sh --zookeeper s100:2181 --create --topic test1 --partitions 3 --replication-factor 2
注:partitions指定topic分区数,replication-factor指定topic每个分区的副本数。
partitions分区数:
- partitions:分区数,控制topic将分片成多少个log。可以显示指定,如果不指定则会使用broker(server.properties)中的num.partitions配置的数量。
- 虽然增加分区数可以提供kafka集群的吞吐量,但是过多的分区数或者是单台服务区上的分区数过多,会增加不可用及延迟的风险。因为多的分区数,意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。
- 分区数也限制了consumer的并行度,即限制了并行consumer消息的线程数不能大于分区数。
- 分区数也限制了producer发送消息是指定的分区。如创建topic时分区设置为1,producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的;这种情况可以通过alter-partitions来增加分区数。replication-factor副本
- replication factor控制消息保存在几个broker(服务器)上,一般情况下等于broker的个数。
- 如果没有在创建时显示指定或通过api向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量。
2 查看所有的topic列表
bin/kafka-topics.sh --zookeeper s100:2181 --list
3 查看指定的topic信息
bin/kafka-topics.sh --zookeeper s100:2181 --describe --topic test1
4 控制台向topic生产数据
bin/kafka-console-producer.sh --broker-list s101:9092 --topic test1
5 控制台消费topic的数据
bin/kafka-console-consumer.sh --zookeeper s100:2181 --topic test1 --from-beginning
6 查看topic某分区偏移量最大(小)值
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic hive-mdatabase-hostsltable --time -1 --broker-list s101:9092 --partitions 0
注:time为-1时表示最大值,time为-2时表示最小值
7 增加topic分区数(kafka的分区只允许增加,不允许减少)
为topic test1设置为10个分区
bin/kafka-topics.sh --zookeeper s101:2181 --alter --topic test1 --partitions 10
8 删除topic
默认情况下kafka的topic是没法直接删除的,需要进行相关参数的设置
# 在默认情况下删除是标记删除,没有实际删除topicbin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper s101:2181 --topic test1
实际删除topic的两种方式
1. 通过delete命令删除后,手动将本地磁盘以及zk上的相关topic信息删除即可
2. 配置server.properties文件,给定参数delete.topic.enable=true,重启kafka服务,此时执行delete命令表示允许进行topic的删除
9 查看topic消费进度
这个会显示出consumer group的offset情况,必须参数为–group,不指定–topic,默认为所有的topic
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group pvGroup Topic Pid Offset logSize Lag Ownerpv page_visits 0 21 21 0 nonepv page_visits 1 19 19 0 nonepv page_visits 2 20 20 0 none
参考博文
http://www.cnblogs.com/xiaodf/p/6093261.html
- Kafka的基本shell命令
- Kafka shell 基本命令
- Kafka Shell基本命令(包括topic的增删改查)
- Shell 的基本命令
- shell的基本命令
- shell命令之基本的shell命令
- kafka shell 命令
- kafka的环境搭建和基本命令
- kafka基本命令
- kafka基本命令使用
- Linux 的shell基本命令
- Linux 基本的 shell 命令
- Linux shell 的基本命令
- shell常用的基本命令
- 基本的bash shell 命令
- ubuntu基本的shell命令
- 基本的bash shell命令
- 基本的bash shell命令
- HDU 5514 Frogs (容斥+数论)
- Java第一个简单的程序
- Codeforces Round #396 (Div. 2) E. Mahmoud and a xor trip dfs 按位考虑
- Django UnicodeEncodeError
- 【Hibernate】mysql版本影响hibernate操作数据库
- Kafka的基本shell命令
- Attribute 和 Parameter 的区别
- Lintcode 3:Digit Counts
- Tarjan无向图最小权值割边
- uml类图&类的关系
- hdu5546 Ancient Go(bfs)
- python 爬虫简单使用
- [LeetCode] 181. Employees Earning More Than Their Managers
- (crm笔记1-3)Service层搭建