Kafka、RabbitMQ、RocketMQ消息中间件的对比 | 消息发送性能篇
来源:互联网 发布:smb权限 nas windows 编辑:程序博客网 时间:2024/05/22 08:21
分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (阿里云消息队列(MQ)的内核) 也顺利开源,得到大家的关注。
那么,消息中间件性能究竟哪家强?
带着这个疑问,我们消息队列测试小组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。
Kafka是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache定级项目。Kafka主要特点是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。
RabbitMQ是使用Erlang语言开发的开源消息队列系统,基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内,对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。
RocketMQ是阿里开源的消息中间件,它是纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka,但并不是Kafka的一个Copy,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。
测试目的
对比Kafka、RabbitMQ、RocketMQ发送小消息(124字节)的性能。这次压测我们只关注服务端的性能指标,所以压测的标准是:
不断增加发送端的压力,直到系统吞吐量不再上升,而响应时间拉长。这时服务端已出现性能瓶颈,可以获得相应的系统最佳吞吐量。
测试场景
在同步发送场景中,三个消息中间件的表现区分明显:
Kafka的吞吐量高达17.3w/s,不愧是高吞吐量消息中间件的行业老大。这主要取决于它的队列模式保证了写磁盘的过程是线性IO。此时broker磁盘IO已达瓶颈。
RocketMQ也表现不俗,吞吐量在11.6w/s,磁盘IO %util已接近100%。RocketMQ的消息写入内存后即返回ack,由单独的线程专门做刷盘的操作,所有的消息均是顺序写文件。
RabbitMQ的吞吐量5.95w/s,CPU资源消耗较高。它支持AMQP协议,实现非常重量级,为了保证消息的可靠性在吞吐量上做了取舍。我们还做了RabbitMQ在消息持久化场景下的性能测试,吞吐量在2.6w/s左右。
测试结论
在服务端处理同步发送的性能上,Kafka>RocketMQ>RabbitMQ。
作为专业的阿里云消息队列测试小组,不禁想问,阿里云的MQ和Kafka相比,哪家强?
阿里云消息队列 Kafka VS Apache Kafka
阿里云消息队列 MQ 推出 Kafka 企业级消息服务(MQ-Kafka),全面融合 Kafka 开源生态,兼容 Kafka API,做到无缝迁移,打造更安全、更可靠、更易运维的 Kafka 企业级消息服务。
测试小组此次也对Apache Kafka和消息队列 Kafka 企业级消息服务在性能、可用性、可靠性等方面做了如下对比:
对比项
Apache Kafka(开源)
阿里云 MQ-Kafka
安全防护
×
√
主子账号支持
×
√
性能(常规)
非常好
非常好
性能(万级Topic情况下)
低
非常好
性能(海量消息堆积情况下)
低
非常好
可靠性
一般
非常好,99.99999999%
可用性
好
非常好,99.99%,Always Writable
全链路消息轨迹
×
√
消息堆积查询
×
√
消息回溯
×
√
服务支持
用户自己运维
阿里云平台统一运维
那么,消息中间件性能究竟哪家强?
带着这个疑问,我们消息队列测试小组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。
Kafka是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache定级项目。Kafka主要特点是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。
RabbitMQ是使用Erlang语言开发的开源消息队列系统,基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内,对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。
RocketMQ是阿里开源的消息中间件,它是纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka,但并不是Kafka的一个Copy,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。
测试目的
对比Kafka、RabbitMQ、RocketMQ发送小消息(124字节)的性能。这次压测我们只关注服务端的性能指标,所以压测的标准是:
不断增加发送端的压力,直到系统吞吐量不再上升,而响应时间拉长。这时服务端已出现性能瓶颈,可以获得相应的系统最佳吞吐量。
测试场景
在同步发送场景中,三个消息中间件的表现区分明显:
Kafka的吞吐量高达17.3w/s,不愧是高吞吐量消息中间件的行业老大。这主要取决于它的队列模式保证了写磁盘的过程是线性IO。此时broker磁盘IO已达瓶颈。
RocketMQ也表现不俗,吞吐量在11.6w/s,磁盘IO %util已接近100%。RocketMQ的消息写入内存后即返回ack,由单独的线程专门做刷盘的操作,所有的消息均是顺序写文件。
RabbitMQ的吞吐量5.95w/s,CPU资源消耗较高。它支持AMQP协议,实现非常重量级,为了保证消息的可靠性在吞吐量上做了取舍。我们还做了RabbitMQ在消息持久化场景下的性能测试,吞吐量在2.6w/s左右。
测试结论
在服务端处理同步发送的性能上,Kafka>RocketMQ>RabbitMQ。
作为专业的阿里云消息队列测试小组,不禁想问,阿里云的MQ和Kafka相比,哪家强?
阿里云消息队列 Kafka VS Apache Kafka
阿里云消息队列 MQ 推出 Kafka 企业级消息服务(MQ-Kafka),全面融合 Kafka 开源生态,兼容 Kafka API,做到无缝迁移,打造更安全、更可靠、更易运维的 Kafka 企业级消息服务。
测试小组此次也对Apache Kafka和消息队列 Kafka 企业级消息服务在性能、可用性、可靠性等方面做了如下对比:
对比项
Apache Kafka(开源)
阿里云 MQ-Kafka
安全防护
×
√
主子账号支持
×
√
性能(常规)
非常好
非常好
性能(万级Topic情况下)
低
非常好
性能(海量消息堆积情况下)
低
非常好
可靠性
一般
非常好,99.99999999%
可用性
好
非常好,99.99%,Always Writable
全链路消息轨迹
×
√
消息堆积查询
×
√
消息回溯
×
√
服务支持
用户自己运维
阿里云平台统一运维
阅读全文
0 0
- Kafka、RabbitMQ、RocketMQ消息中间件的对比 | 消息发送性能篇
- Kafka、RabbitMQ、RocketMQ 消息中间件的对比 | 消息发送性能篇
- Kafka、RabbitMQ、RocketMQ 消息中间件的对比 | 消息发送性能篇
- Kafka、RabbitMQ、RocketMQ 消息中间件的对比 | 消息发送性能篇
- Kafka、RabbitMQ、RocketMQ消息中间件的对比 —— 消息发送性能-转自阿里中间件
- Kafka、RabbitMQ、RocketMQ消息中间件的对比 —— 消息发送性能
- Kafka、RabbitMQ、RocketMQ等消息中间件的对比 —— 消息发送性能和优势
- Kafka、RabbitMQ、RocketMQ消息中间件的对比 —— 消息发送性能 (阿里中间件团队博客)
- Kafka、RabbitMQ、RocketMQ发送小消息性能对比
- Kafka、RabbitMQ、RocketMQ消息中…
- Java消息中间件--ActiveMq,RabbitMQ,Kafka
- rocketMq消息中间件认知
- 分布式消息中间件-Rocketmq
- 消息队列探秘-Kafka、RabbitMQ对比
- 消息中间件RocketMQ的安装与部署
- 关于消息队列的使用----ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ
- 关于消息队列的使用----ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ
- 关于消息队列的使用----ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ
- Eclipse内存优化 -Xms128m -Xmx512m
- 201412-4 最优灌溉 ccf
- 语言代码
- [LeetCode]129. Sum Root to Leaf Numbers
- Java中的Map总结
- Kafka、RabbitMQ、RocketMQ消息中间件的对比 | 消息发送性能篇
- MySQL数据库的引擎
- OpenTK教程-1绘制一个三角形
- PAT_1082. Read Number in Chinese
- 班农出局对特朗普是福是祸?市场可以松口气吗?
- Android A/B System OTA分析(四)系统的启动和升级
- 启动docker服务时报错而引发的问题SELINUX
- 从fragment跳转到activity,再返回到指定的fragment页面
- 金融安全资讯精选 2017年第四期:全球安全支出走高,外国银行再遭黑客袭击