kafka参数配置优化

#非负整数，用于唯一标识broker

broker.id=0

# broker 服务监听端口

port=9092

# broker 发布给生产者消费者的hostname，会存储在zookeeper。配置好这个host可以实现内网外网同时访问。

advertised.host.name=host1

# broker 发布给生产者消费者的port，会存储在zookeeper。

advertised.port=9092

# 处理网络请求的线程数量，一般默认配置就好

num.network.threads=3

# 处理磁盘的线程数量，一般默认配置就好

num.io.threads=8

#  socket server 发送数据缓冲区大小

socket.send.buffer.bytes=102400

# socket server 接受数据缓冲区大小

socket.receive.buffer.bytes=102400

# soket server 可接受最大消息大小，防止oom

socket.request.max.bytes=104857600

# kafka存放消息的目录

log.dirs=/home/data/kafka/kafka-logs

# 每个topic默认partition数量，根据消费者实际情况配置，配置过小会影响消费性能

num.partitions=50

# kafka启动恢复日志,关闭前日志刷盘的线程数

num.recovery.threads.per.data.dir=1

#  日志保留时间

log.retention.minutes=30

# 日志保留大小

log.retention.bytes=53687091200

# 日志 segment file 大小. 超过这个大小创建新segment file

log.segment.bytes=67108864

# 日志 segment file 刷新时间. 超过这个时间创建新segment file

log.roll.hours=24

# 日志淘汰检查间隔时间

log.retention.check.interval.ms=10000

# Zookeeper host和port 

zookeeper.connect=localhost:2181

# 连接zookeeper超时时间

zookeeper.connection.timeout.ms=6000

# 清除fetch  purgatory 间隔消息条数

fetch.purgatory.purge.interval.requests=100

#清除producer purgatory 间隔消息条数

producer .purgatory.purge.interval.requests=100

#是否可以通过管理工具删除topic，默认是false

delete.topic.enable=true

#日志传输时候的压缩格式，可选择lz4, snappy, gzip,不压缩。建议打开压缩，可以提高传输性能，压缩格式的选择可以参考文章结尾的参考资料。

compression.type=snappy

# 启用压缩的topic名称。若上面参数选择了一个压缩格式，那么压缩仅对本参数指定的topic有效，若本参数为空，则对所有topic有效。

compressed.topics=topic1

#用来从主partion同步数据的线程数，默认为1，建议适当调大，数据量大的时候一个同步线程可能不够用

num.replica.fetchers=3

#消息日志备份因子，默认是1

default.replication.factor=2

参考资料：

[C/C++] 对zlib、lz4、snappy三种压缩算法的测试比较：http://bbs.itcast.cn/thread-85176-1-1.html