Kafka总结
来源:互联网 发布:大话西游男鬼加点数据 编辑:程序博客网 时间:2024/05/24 03:21
原文链接:http://dataguild.org/?p=7290
参考链接:http://www.cnblogs.com/cyfonly/p/5954614.html
Kafka提供的Pub/Sub就是典型的异步消息交换,用户可以为服务器日志或者物联网设备创建不同主题(Topic),之后数据可以源源不断地发送到各个主题,后端数据仓库、流式分析或者全文检索等对接特定主题,服务器或者物联网设备是无需关心的。
同时,Kafka可以将主题划分为多个分区(Partition),会根据分区规则选择把消息存储到哪个分区中,只要如果分区规则设置的合理,那么所有的消息将会被均匀的分布到不同的分区中,这样就实现了负载均衡和水平扩展。另外,多个订阅者可以从一个或者多个分区中同时消费数据,以支撑海量数据处理能力:
Kafka的设计也是源自生活,好比是为公路运输,不同的起始点和目的地需要修不同高速公路(主题),高速公路上可以提供多条车道(分区),流量大的公路多修几条车道保证畅通,流量小的公路少修几条车道避免浪费。收费站好比消费者,车多的时候多开几个一起收费避免堵在路上,车少的时候开几个让汽车并道就好了,嗯……
顺便说一句,由于消息是以追加到分区中的,多个分区顺序写磁盘的总效率要比随机写内存还要高(引用Apache Kafka – A High Throughput Distributed Messaging System的观点),是Kafka高吞吐率的重要保证之一。
为了保证数据的可靠性,Kafka会给每个分区找一个节点当带头大哥(Leader),以及若干个节点当随从(Follower)。消息写入分区时,带头大哥除了自己复制一份外还会复制到多个随从。如果随从挂了,Kafka会再找一个随从从带头大哥那里同步历史消息;如果带头大哥挂了,随从中会选举出新一任的带头大哥,继续笑傲江湖。
最后,每个发布者发送到Kafka分区中的消息是确保顺序的,订阅者可以依赖这个承诺进行后续处理。
- kafka总结
- kafka 总结
- kafka总结
- kafka总结
- Kafka总结
- kafka总结
- kafka总结
- kafka consumer group总结
- kafka producer总结
- KAFKA学习总结
- Kafka摘要及总结
- kafka命令总结
- kafka-0.8.1.1总结
- KAFKA学习总结
- apache kafka总结
- Kafka 个人总结
- Kafka常用命令行总结
- Kafka常用命令行总结
- Java多线程的常见例子
- java中使用jsch连接Linux等主机openssl7.0以上
- oracle 分组后取每组第一条数据
- linux
- LIN总线技术及应用——协议规范(一)
- Kafka总结
- 按钮变灰不可用
- vs2010利用map,cod文件定位崩溃代码行
- mysql yum 离线源拉取。
- CSS样式框模式的应用——自己手写的,值得一看
- 关于两个日期之间的
- 用MATLAB编写VIVADO的coe文件
- QThread 的moveToThread 结果并没有在子线程中运行
- 关于MATLAB界面语言的设置