RabbitMq与Kafka集群设计比较
来源:互联网 发布:图书数据哪里最多 编辑:程序博客网 时间:2024/04/29 19:08
1.RabbitMq集群
2.Kafka基础
2.1基础概念
Producer:消息生产者,负责发布消息到 Kafka broker
Consumer:消息消费者,向 Kafka broker 读取消息
Broker:Kafka 集群包含一个或多个服务器,这种服务器被称为 broker。一个broker上可能有很多topic的partition。
Topic:每条发布到 Kafka 集群的消息都有一个类别,这个类别被称为 Topic。一个topic可以分为多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset)。kafka只保证按一个partition中的顺序将消息发给consumer,不保证一个topic的整体(多个partition间)的顺序。
Partition:分区,每个 Topic 包含一个或多个 Partition。
2.2架构图
2.3 kafka设计:
1.消费者:客户端从broker拉的策略,支持批量拉和压缩,由消费者在zk记录消息offset
2.生产者:A 异步发送,支持累积数据量64k或者10毫秒;B 负载均衡,消费者发送的消息分发到不同的broker上
2.broker:把文件系统作为存储系统,顺序写入磁盘,zero-copy方式文件传输
3.备份:如果topic设置了replication,那意味着每个Partition都会有2个备份,对外提供服务的只有leader,follwer只是备份leader的数据;leader和follwer之间通过副本来选出leader,如果follwer跟不上leader就会被提出副本,如果leader不在,就会在副本中选取一个做为leader,如果所有的备份都down了,则选择最近down掉的一个备份作为leader
更多精彩内容请继续关注我的博客:http://blog.csdn.NET/caicongyang
记录与分享,你我共成长 -from caicongyang
- RabbitMq与Kafka集群设计比较
- AMQP学习 & RabbitMQ 与 ActiveMQ、ZeroMQ以及Kafka的比较
- RabbitMQ与KafKa区别
- kafka与rabbitmq
- RabbitMQ与KafKa区别
- RabbitMq、ActiveMq、ZeroMq、kafka之间的比较
- RabbitMq、ActiveMq、ZeroMq 和 kafka 比较
- RabbitMq、ActiveMq、ZeroMq、kafka之间比较
- rabbitMQ、activeMQ、zeroMQ、Kafka、Redis 比较
- rabbitMQ、activeMQ、zeroMQ、Kafka、Redis 比较
- rabbitMQ、activeMQ、zeroMQ、Kafka、Redis 比较
- RabbitMq、ActiveMq、ZeroMq、kafka 之间的比较
- rabbitMQ、activeMQ、zeroMQ、Kafka、Redis 比较
- RabbitMq、ActiveMq、ZeroMq、kafka之间的比较
- RabbitMq、ActiveMq、ZeroMq、kafka之间的比较
- RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,,
- rabbitMQ、activeMQ、zeroMQ、Kafka、Redis 的比较
- Flume与Kafka比较
- mysql 5.6安装与配置
- 经典问题之最少交换次数
- Java Reintroduction for Concepts
- Leetcode-160. Intersection of Two Linked Lists
- 数学,容斥原理(拉拉队,uva 11806)
- RabbitMq与Kafka集群设计比较
- URAL - 1057 Amount of Degrees--数位dp
- Linux下MySQL定时备份
- LeetCode 374. Guess Number Higher or Lower
- 51nod 1012 最小公倍数LCM
- ElasticSearch以及相关插件在window下的安装
- 【JDK源码阅读2-util】Collection-List
- 51nod 1013 3的幂的和
- 应用GregorianCalendar类的日历程序