kafka0.9 topic level参数
来源:互联网 发布:跳转页面js 编辑:程序博客网 时间:2024/05/19 00:37
broker级别的参数可以由topic级别的覆写,不是所有的broker参数在topic级别都有对应值
覆写方法
可以在创建或创建后由--config修改
创建时
> bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 1
--replication-factor 1 --config max.message.bytes=64000 --config flush.messages=1
创建后
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic my-topic
--config max.message.bytes=128000
删除
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic my-topic
--deleteConfig max.message.bytes
参数
topic level broker level
cleanup.policy log.cleanup.policy 删除策略(delete,compact)
delete.retention.ms log.cleaner.delete.retention.ms 精简模式下保留log的时间
flush.messages log.flush.interval.messages 多少条message flush to disk
flush.ms log.flush.interval.ms 同步到磁盘的时间间隔
index.interval.bytes log.index.interval.bytes 读取时需要一定空间保存offset信息
max.message.bytes message.max.bytes 最大可接受的message大小,对应的调整consumer端在数
min.cleanable.dirty.ratio log.cleaner.min.cleanable.ratio 精简模式下,清理log的阀值
min.insync.replicas min.insync.replicas 当request.required.acks =-1时 insync列表中的replica确认写成功的最小数
同时讲一下request.required.acks这个参数它分别三个不同的值
0 代表不等待写确认即返回
1 代表只需要leader确认
-1 代表需要insync中的所有replica确认
retention.bytes log.retention.bytes 超过该值大小的日志将删除
retention.ms log.retention.minutes 超过该时间阀值的日志将删除
segment.bytes log.segment.bytes segment文件最大值
segment.index.bytes log.index.size.max.bytes index文件最大值
segment.ms log.roll.hours 创建新文件的时间
- kafka0.9 topic level参数
- kafka0.9 producer与consumer参数
- kafka0.9
- kafka0.8.2以下版本删除topic
- Kafka0.8.2.1删除topic逻辑
- Kafka0.8.2.1删除topic逻辑
- kafka0.8 high-level consumer api使用
- kafka0.9新特性
- kafka0.9版本指令
- kafka0.8.1.1彻底删除topic并清空log内容
- kafka0.9-spark1.6-ElasticSearch2.1集成
- Kafka0.8
- topic
- Kafka笔记二之Topic操作,文件参数配置
- kafka 1.0 中文文档(四)--主题级别配置(Topic-Level Configs)
- kafka学习(四)--java开发(基于kafka0.9、1.0版本)
- Kafka0.8.0集群构建
- kafka0.8.0安装
- 【BZOJ 2038】 [2009国家集训队]小Z的袜子(hose)
- 就拿胖子说事
- 【BZOJ 3196】 Tyvj 1730 二逼平衡树 分块
- 【BZOJ 1095】 [ZJOI2007]Hide 捉迷藏 括号序列
- shell if语句中的参数
- kafka0.9 topic level参数
- 【BZOJ 2152】 聪聪可可
- 【BZOJ 4016】[FJOI2014]最短路径树问题
- 【BZOJ 1095】 [ZJOI2007]Hide 捉迷藏
- 【BZOJ 3144】 [Hnoi2013]切糕
- 【UOJ 34】多项式乘法
- java数据结构 深搜+栈
- 【CodeVS 3123】 高精度练习之超大整数乘法
- 【BZOJ 1415】 [Noi2005]聪聪和可可