kafka中重要的参数配置 (记录)

来源:互联网 发布:手机淘宝注册商家 编辑:程序博客网 时间:2024/06/05 00:53
replica.fetch.max.bytes:

        在kafka的配置中,如果没有定义 replica.fetch.max.bytes的值,server 会给一个默认值(1M),在短消息的应用场景下通常是不会有什么问题的,但是在消息比较大的情况下,虽然可以在topic中定义max.message.bytes这个值比较大,但是对于broker,topic的max.message.bytes变大 不会自动 修正replica.fetch.max.bytes的大小,所以会存在这样一个问题: 配置文件中没有定义 replica.fetch.max.bytes ,但是消息的长度大于默认值1M,就会导致replica之间数据同步失败。


问题解决:将所有topic中最大的max.message.bytes赋给replica.fetch.max.bytes,在配置初始化的时候尽量配置replica.fetch.max.bytes一个较大的值,同时确保所有topic的max.message.bytes都小于 replica.fetch.max.bytes
原创粉丝点击