kafka0.9 producer与consumer参数
来源:互联网 发布:福建 社交网络 编辑:程序博客网 时间:2024/05/05 19:47
producer level
bootstrap.servers kafka集群节点列表格式;host1:port1,host2:port2
key.serializer key序列化类型
value.serializer value序列化类型
acks producer需要等待leader响应数量 0不需要等待应答,1代表leader成功写入本地log但不等待follow,-1代表等待insync列表中的follow成功完成
buffer.memory 发送端的buffer大小,如果超出将block或者抛出异常 由block.on.buffer.full决定
compression.type 压缩类型
retries 发送失败重发次数
batch.size 批量发送大小
client.id 客户标识
connections.max.idle.ms 关闭连接空闲时间
linger.ms 异步发送时间间隔
max.block.ms 控制block的时长,当buffer空间不够或者metadata丢失时产生block
max.request.size 单一请求最大值,超出部分将不会接收。
partitioner.class partiton类
receive.buffer.bytes tcp 接收buffer用于读取数据
request.timeout.ms 请求超时,如果超时将重试,超过重试次数将抛异常
send.buffer.bytes tcp发送数据用于发送数据
timeout.ms 服务端等待follow应答的最长时间
block.on.buffer.full 当buffer满时,是否block不接受新请求,true将block,false将抛出异常
retry.backoff.ms 发送失败重连时间间隔
reconnect.backoff.ms consumer连接失败重连间隔
metadata.fetch.timeout.ms 首先发送数据到topic需要抓取metadata,metadata超时时间
metadata.max.age.ms metadata刷新时间
max.in.flight.requests.per.connectionkafka可以在一个connection中发送多个请求,叫作一个flight,这样可以减少开销,但是如果产生错误,可能会造成数据的发送顺序改变,默认是5 (修改)
consumer level
fetch.min.bytes 服务端返回的最小数据大小,如果数据较小将等待或者超时返回。
group.id 唯一标识consumer goup
heartbeat.interval.ms consumer 向 coordinator发送心跳时间,该值必须小于session.timeout
max.partition.fetch.bytes 一个partiton可以获取的最大的数据量,不能大于服务允许的最大message值,如果发生将block partiton
session.timeout.ms consumer session过期时间
auto.offset.reset 当前consumer给出的offset不存在将执行的动作,earliest:设置offset到0 latest:设置offset到最后
anything else :抛出异常
connections.max.idle.ms connection最大空闲时间
enable.auto.commit 自动提交offset
retry.backoff.ms consumer抓取数据重试时间
reconnect.backoff.ms consumer重连时间
fetch.max.wait.ms 抓取最大等待时间,
- kafka0.9 producer与consumer参数
- producer consumer
- producer & consumer
- kafka0.9 topic level参数
- 线程问题:生产者(Producer)与消费者(Consumer)
- java基础之线程同步实例之Producer与Consumer
- ActiveMQ应用笔记二:Producer与Consumer模板代码
- 用python,100行完成producer与consumer模型
- The Producer-Consumer Problem
- compile producer-consumer
- ProtoThreads - Producer&Consumer
- ACE_Task Consumer-Producer
- Producer-consumer problem
- Producer Consumer 模式
- Producer-Consumer Pattern
- Producer-Consumer Pattern
- Semaphore Consumer-Producer Code
- BufferQueue/consumer/producer
- 安装JDK包时出现 内部错误 2350 的解决办法
- 【SSH网上商城】对依赖注入的理解
- 超全!整理常用的iOS第三方资源
- Linux 字符设备驱动结构(二)—— 自动创建设备节点
- LINK : fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏
- kafka0.9 producer与consumer参数
- JAVA与C++传递、赋值以及返回对象(指针、引用)
- C# 多线程Synchronization和ContextBoundObject应用
- [JZOJ4378] 八卦天盘
- C++中static的用法总结
- 携程Android App插件化和动态加载实践
- 客户端——解析json数据
- DOM事件三个阶段
- Linux下Vim的配置