Kafka 学习笔记(2) - Topic 和 Log
来源:互联网 发布:qq显示当前网络不可用 编辑:程序博客网 时间:2024/05/23 18:20
A topic is a category or feed name to which messages are published.
每个Partition都是一个排序的和不可变的消息队列,新消息都会append到结尾,每个message都会分配一个sequential id, 叫做offset,作为message的唯一的id
注意的是Kafka的Cluster会保存在某个配置期间内(log retention)所有的message,不管它有没有被consume。超过配置期间的消息会被删除。Kafka的性能是相对稳定,不会随着size增长而增长。
每个Consumer需要自己维护自己consume的消息的offset,通过这种方式来保证读取速度而不用去考虑多个消息consumer相互之间的影响。并且,读取顺序也是每个consumer自己控制。
Consumer这种设计的好处是实现复杂度低,consumer开销小,它的添加或者删除对cluster impact比较小
Partition的设计的优点: 首先是能够允许log存储在多个节点上满足量的需求,其次它满足了并发处理的需求
0 0
- Kafka 学习笔记(2) - Topic 和 Log
- Kafka学习4_Kafka创建、查看和删除Topic
- Kafka 学习 -- Topic的创建
- kafka学习(四)-Topic & Partition
- kafka删除和创建topic
- kafka topic
- Kafka学习整理八(topic管理)
- Kafka学习整理八(topic管理)
- JMS学习笔记(二)——Queue和Topic
- kafka学习笔记(2)
- kafka 创建topic,查看topic
- kafka学习笔记 --- Scala实现Kafka producer 和 consumer
- Kafka笔记二之Topic操作,文件参数配置
- Kafka 学习笔记(4) - Consumer和Producer
- Kafka中topic的Partition,Kafka为什么这么快,Consumer的负载均衡及consumerGroup的概念(来自学习笔记)
- Kafka学习笔记:初识Kafka
- Kafka学习之Replication tools之List Topic Tool
- Kafka学习之Replication tools之Create Topic Tool
- 观察者设计模式浅谈
- 【数据结构】静态查找之二分查找
- [IOS开发]搜索用谓词NSPredicate
- Windows窗体原理及控件重绘技巧
- arm-linux内存页表创建
- Kafka 学习笔记(2) - Topic 和 Log
- Mutex 互斥量
- 怎样的刷新前把Ext的changerecords清空?
- ELF二进制目标文件详解
- Comet
- android ble蓝牙开发略解-Android 蓝牙4.0开发
- web中使用到的一些关于坐标相关知识
- C#中关于Gridview的一些属性(二、绑定数据)
- android中ListView或GridView出现在adapter中的getView出现多次position为0的情况