Kafka学习整理八(topic管理)
来源:互联网 发布:mac chrome收费? 编辑:程序博客网 时间:2024/06/16 14:35
一、创建topic
使用命令行手动或者向一个不存在的topic发送(生产)消息时都会新创建一个topic
向一个不存在的topic发送(生产)消息时新创建的topic时,其采用为默认的topic-config配置以及server.properties中的topic的配置。使用命令行手动创建一个topic可以使用 –config 选项配合topic-config配置中的信息来覆盖默认配置或者使用–delete-config来恢复默认配置。
(一)、示例
- 1
(一)、主要参数说明
1. partitions分区数
(1). partitions :分区数,控制topic将分片成多少个log。可以显示指定,如果不指定则会使用broker(server.properties)中的num.partitions配置的数量
(2). 虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多,会增加不可用及延迟的风险。因为多的分区数,意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。
(3). 分区数也限制了consumer的并行度,即限制了并行consumer消息的线程数不能大于分区数
(4). 分区数也限制了producer发送消息是指定的分区。如创建topic时分区设置为1,producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的;这种情况可以通过alter –partitions 来增加分区数。
2. replication-factor副本
1 . replication factor 控制消息保存在几个broker(服务器)上,一般情况下等于broker的个数。
2. 如果没有在创建时显示指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量
(二)、查看topic属性
- 1
结果说明:
第一行,列出了topic的名称,分区数(PartitionCount),副本数(ReplicationFactor)以及其他的配置(Config.s)
Leader:1 表示为做为读写的broker的编号
Replicas:表示该topic的每个分区在那些borker中保存
Isr:表示当前有效的broker, Isr是Replicas的子集
(三)、修改topic
增加分区数
- 1
增加配置
- 1
删除配置
- 1
(四)、删除topic
目前删除操作在默认情况下只是打上一个删除的标记,在重新启动kafka 后才删除。如果需要立即删除,则需要在server.properties中配置
- 1
- 2
- Kafka学习整理八(topic管理)
- Kafka学习整理八(topic管理)
- kafka管理Topic
- Kafka 学习 -- Topic的创建
- kafka学习(四)-Topic & Partition
- kafka topic
- Kafka 学习笔记(2) - Topic 和 Log
- kafka学习资料整理
- kafka 创建topic,查看topic
- Kafka学习之Replication tools之List Topic Tool
- Kafka学习之Replication tools之Create Topic Tool
- Kafka学习4_Kafka创建、查看和删除Topic
- 深入学习Kafka:Topic的删除过程分析
- kafka工具kafka-topic.sh
- 删除kafka 的topic
- KAFKA删除topic
- kafka完整删除topic
- Kafka删除topic
- 设计模式-状态模式 C++实现
- easyUI 随记
- 《C++ Primer》读书笔记第十二章-2-动态数组 And 文本查询程序
- gradle 解决依赖冲突问题
- Vue项目目录说明
- Kafka学习整理八(topic管理)
- spring @Entity @Table
- 用pygame写游戏——两色调色板 解释
- Android酷炫实用的开源框架(UI框架)
- Default retry will not retry every command
- .Net下对ActiveMQ的使用
- C++11 并发指南五(std::condition_variable 详解)
- java代码取出EXCEL表数据并画折线图
- Python 元组(tuple)