kafka2:性能优化
来源:互联网 发布:星游记网络大电影 编辑:程序博客网 时间:2024/05/18 04:26
1.partition数量配置
partition数量由topic的并发决定,并发少则1个分区就可以,并发越高,分区数越多,可以提高吞吐量。
创建topic时指定topic数量
bin/kafka-topics.sh --create --zookeeper 10.25.58.35:2181 --replication-factor 3 --partitions 3 --topic test8
2.日志保留策略设置
当kafka broker的被写入海量消息后,会生成很多数据文件,占用大量磁盘空间,kafka默认是保留7天,建议根据磁盘情况配置,避免磁盘撑爆。
log.retention.hours=72
段文件配置1GB,有利于快速回收磁盘空间,重启kafka加载也会加快(如果文件过小,则文件数量比较多,kafka启动时是单线程扫描目录(log.dir)下所有数据文件)
log.segment.bytes=1073741824
3.文件刷盘策略
为了大幅度提高producer写入吞吐量,需要定期批量写文件。建议配置:
每当producer写入10000条消息时,刷数据到磁盘
log.flush.interval.messages=10000每间隔1秒钟时间,刷数据到磁盘
log.flush.interval.ms=1000
4.网络和io操作线程配置优化
一般num.network.threads主要处理网络io,读写缓冲区数据,基本没有io等待,配置线程数量为cpu核数加1.
broker处理消息的最大线程数
num.network.threads=xxx
num.io.threads主要进行磁盘io操作,高峰期可能有些io等待,因此配置需要大些。配置线程数量为cpu核数2倍,最大不超过3倍.
broker处理磁盘IO的线程数
num.io.threads=xxx
加入队列的最大请求数,超过该值,network thread阻塞
queued.max.requests=5000
server使用的send buffer大小。
socket.send.buffer.bytes=1024000
server使用的recive buffer大小。
socket.receive.buffer.bytes=1024000
5.异步提交(kafka.javaapi.producer)
采用同步:1000条8s;
采用异步:100条或3s异步写入,速度提升为1w条2s(ProducerConfig)
request.required.acks=0 producer.type=async ##在异步模式下,一个batch发送的消息数量。producer会等待直到要发送的消息数量达到这个值,之后才会发送。但如果消息数量不够,达到queue.buffer.max.ms时也会直接发送。 batch.num.messages=100 ##默认值:200,当使用异步模式时,缓冲数据的最大时间。例如设为100的话,会每隔100毫秒把所有的消息批量发送。这会提高吞吐量,但是会增加消息的到达延时queue.buffering.max.ms=100 ##默认值:5000,在异步模式下,producer端允许buffer的最大消息数量,如果producer无法尽快将消息发送给broker,从而导致消息在producer端大量沉积,如果消息的条数达到此配置值,将会导致producer端阻塞或者消息被抛弃。queue.buffering.max.messages=1000 ##发送队列缓冲长度##默认值:10000,当消息在producer端沉积的条数达到 queue.buffering.max.meesages 时,阻塞一定时间后,队列仍然没有enqueue(producer仍然没有发送出任何消息)。此时producer可以继续阻塞或者将消息抛弃,此timeout值用于控制阻塞的时间,如果值为-1(默认值)则 无阻塞超时限制,消息不会被抛弃;如果值为0 则立即清空队列,消息被抛弃。queue.enqueue.timeout.ms=100 compression.codec=gzip
作者:myparamita
链接:http://www.jianshu.com/p/f62099d174d9
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
- kafka2:性能优化
- kafka2:性能优化
- SprakStreaming整合Kafka2
- 性能优化
- 性能优化
- 性能优化
- 性能优化
- 性能优化
- 性能优化
- 性能优化
- 性能优化
- 性能优化
- 性能优化
- 性能优化
- 性能优化
- 性能优化
- 性能优化
- 性能优化
- MAC 下 CocoaPods 安装与使用来管理项目第三方框架
- 人生
- java简要实现优先级的分组排序
- USACO Section 1.5 Number Triangles
- 使用位运算总结(转载)
- kafka2:性能优化
- jq鼠标经过隐藏当前显示另一个
- python逻辑控制
- Delphi 動態創建控件,賦值,使用
- python3 爬虫时遇到问题:cannot use a string pattern on a bytes-like object
- css复习整理(三):盒子模型
- 经验分享 | 一个程序员的运气有多重要
- Web自动化测试中针对图片验证码问题的常见解决思路,看看对您有没有帮助
- 完美运动框架