kafka0.8新特性小结
来源:互联网 发布:指向整形数组的指针 编辑:程序博客网 时间:2024/06/05 15:21
通过两张图可以一目了然地对比0.8版本和0.7版本的不同:
kafka0.7架构图
kafka0.8架构图
0.7版:
1)对于0.7版本,我们要写入数据时(producer)必须显性地指定写入的broker和partition,负载均衡必须自己处理;
2)对于同一个topic的同一个partition 序号,在不同的broker(假设为n个broker)上,被表现为多个partition(最多为n个)
0.8版本:
1)基于leader-follower以及冗余备份的方案,一个partition可以在多个server上备份,那么其中一个server作为此partiton的leader,leader负责此partition所有的读写操作,如果leader失效,那么将会有其他follower来接管(成为新的leader),follower只是单调的和leader跟进,同步消息即可。 由此可见作为leader的server承载了全部的请求压力,因此从集群的整体考虑,有多少个partitions就意味着有多少个"leader",kafka会将"leader"均衡的分散在每个实例上,来确保整体的性能稳定。 (kafka提供了一些有效的工具来对集群的leader进行均衡以及在线添加partition,参考官方wiki)
2) 集群概念,主要体现在producer方面(不过对于0.8版本提供的高级API,在consumer端也进行了抽象,读取消息也可以不care broker和partition, 0.7版本很蛋疼地需要自己记录下读取到哪个broker 、partition、offset ),kafka在发布消息到kafak cluster的过程中,也提供了一层抽象,即Partitoner的接口,对发布消息到哪个partition进行自定义策略,用户可以自己实现该接口来控制消息写入到哪个partition;
- kafka0.8新特性小结
- kafka0.9新特性
- Spark整合kafka0.10.0新特性(一)
- Spark整合kafka0.10.0新特性(二)
- Kafka0.10的新特性一览
- Kafka0.10的新特性一览
- kafka0.9.0 新特性(对比0.8)
- Java 8 新特性小结
- Kafka0.8
- HTML5新特性小结
- CSS3 新特性小结
- Java8新特性小结
- kafka0.8--0.11各个版本特性预览介绍
- kafka0.8--0.11各个版本特性预览介绍
- kafka0.8--0.11各个版本特性预览介绍
- MySQL5.5新特性小结
- C++11新特性小结
- Android新特性-ToolBar小结
- POJ 2513(字典树hash+并查集+欧拉通路)
- POJ 3422 Kaka's Matrix Travels(费用流)
- 关于html文档中div之间一直存在的20px左右的空隙的解决方法
- IOS学习--课后练习题2
- 是该写博客了
- kafka0.8新特性小结
- IOS学习--课后练习题3
- IOS学习--课后练习题5
- ubuntu如何执行.run文件
- windows多线程基础(2):如何创建多线程CreateThread
- IOS学习--课后练习6
- Mybatis实战(Mybatis in action)
- 互联网的世界
- hdu 4856 Tunnels 2014西安邀请赛