kafka与zookeeper间的关联
来源:互联网 发布:电子键盘软件 编辑:程序博客网 时间:2024/06/10 11:24
kafka与zookeeper:
一个典型的Kafka集群中包含若干Produce,若干broker(一般broker数量越多,集群吞吐率越高),若干Consumer Group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker,Consumer使用pull模式从broker订阅并消费消息。
1)Producer端直接连接broker.list列表,从列表中返回TopicMetadataResponse,该Metadata包含Topic下每个partition leader建立socket连接并发送消息.
2)Broker端使用zookeeper用来注册broker信息,以及监控partition leader存活性.
3)Consumer端使用zookeeper用来注册consumer信息,其中包括consumer消费的partition列表等,同时也用来发现broker列表,并和partition leader建立socket连接,并获取消息。
Zookeeper作用:管理broker、consumer
创建Broker后,向zookeeper注册新的broker信息,实现在服务器正常运行下的水平拓展。具体的,通过注册watcher,获取partition的信息。
Topic的注册,zookeeper会维护topic与broker的关系,通/brokers/topics/topic.name节点来记录。
Producer向zookeeper中注册watcher,了解topic的partition的消息,以动态了解运行情况,实现负载均衡。Zookeepr不管理producer,只是能够提供当前broker的相关信息。
Consumer可以使用group形式消费kafka中的数据。所有的group将以轮询的方式消费broker中的数据,具体的按照启动的顺序。Zookeeper会给每个consumer group一个ID,即同一份数据可以被不同的用户ID多次消费。因此这就是单播与多播的实现。以单个消费者还是以组别的方式去消费数据,由用户自己去定义。Zookeeper管理consumer的offset跟踪当前消费的offset。
- kafka与zookeeper间的关联
- Kafka与ZooKeeper的配置
- zookeeper 与 kafka的协同工作
- zookeeper与kafka的选举算法
- zookeeper与kafka
- zookeeper与kafka介绍
- zookeeper与kafka安装
- kafka 的 zookeeper 初识
- Zookeeper与Kafka集群搭建
- Zookeeper与Kafka集群搭建
- Zookeeper与Kafka集群搭建
- Zookeeper与Kafka集群搭建
- Zookeeper与Kafka集群搭建
- Zookeeper与Kafka集群搭建
- zookeeper、kafka的安装与配置以及集群
- zookeeper和kafka的介绍
- kafka集群+zookeeper集群常见问题与命令
- zookeeper集群与kafka集群搭建
- Java并发线程池,ThreadPoolExecutor解析
- [ArcGIS] 空间分析(三)栅格数据
- 枚举的总结
- 转:正则表达式进阶(资料整理)
- Linux 安装Elasticsearch和配置ik分词器步骤
- kafka与zookeeper间的关联
- 卷积神经网络中每层矩阵维度变化
- Tomcat各种启动方式的jvm内存设置
- Vue.js源码解析(八)【Vue.js异步更新DOM策略及nextTick】
- 第六期 基于 Inception-V3 训练网络识别面部特征 《显卡就是开发板》
- fiddler模拟发送自定义请求
- SQL Server中查看数据库中各个数据表的大小(占用空间)
- 看雪安全峰会,几维安全携国内首款全平台移动代码虚拟机KiwiVM参展
- C++_vector_初探2