kafka 0.8的变化
来源:互联网 发布:李世民 知乎 胡人 编辑:程序博客网 时间:2024/04/27 14:16
之前分享了一个英文版的变化,一直没时间去翻译,今天上了下kafka的官网发现0.8的代码能下载了,更值得关注的是0.8的相关文档也更新上来了,上面的一些变化还是很可喜的,说明这套系统还是有很大的利用价值的。
最重要的一个变化体现在一张图上:
还记得之前kafka0.7版本的时候这张图的样子么:
箭头的指向不同了,之前版本的kafka的consumer只支持pull的模式来抓取数据,而现在在consumer端的数据获取方式改变了,可以支持push的方式了。这个改变是不是更贴近了现在一些主流的消息系统。另外,Consumer已经支持”long poll”这种方式,这种方式的好处就是减少了不必要的轮询,使得端到端的数据传输更快捷。
对consumer的更新比较突出,特别是0.7版本,需要根据partition和offset获取数据都只能使用low level的api,而在0.8版本中都支持了high level的API了,这样使得编程就更加方便了。不变的是,consumer还是采用consumer group的方式来同时支持queue和publish-subscribe两种方式。每个partition每次只允许一个consumer消费来确保消费的顺序性。
Partitions可以有独立的副本了,这使得之前在服务器宕机情况下,partition丢失的情况不在发生,这些通过配置replication factor进行调整。
http://my.oschina.net/ielts0909/blog/143543
0 0
- kafka 0.8的变化
- apache kafka系列之Controller设计机制和状态变化
- Kafka Producer是如何动态感知Topic分区数变化
- Spark Streaming 自适应上游 kafka topic partition 数目变化
- SparkStreaming自适应上游kafka topic partition数目变化
- Kafka 0.8.2 新的offset管理
- Kafka源码的编译(0.8.2.1)
- flum+kafka搭建示例 监控日志增量变化传输到kafka
- 变化的职场,变化的你
- 变化的职场,变化的你
- 变化的职场,变化的你
- Kafka学习(四):Kafka的安装
- kafka:python获取kafka的值
- Kafka介绍, kafka主题的副本机制
- 安装kafka以及kafka的简单运行
- kafka详解:Kafka的设计思想、理念
- DataGridView跟随窗体的变化还变化
- 内容随着显示器的变化而变化
- OCP-1Z0-051 第137题 子查询的应用
- 几乎覆盖
- 【Cocoa and Object-c : Up and Running 笔记】04 Object-C 基础语法
- 人需要看到未来
- Spring MVC的工作原理
- kafka 0.8的变化
- HTML5 的 Audio 标签
- C语言单链表实现19个功能完全详解
- rest
- MySQL数据库字符编码设置
- 百人二八杠(控制+机器人)源码下载
- [QuickSettings] How to add new toggles to 4.2 Android
- 命令行参数
- 【Hadoop源码研究】之Configuration