kafka初步认知
来源:互联网 发布:大学网络课程怎么快进 编辑:程序博客网 时间:2024/06/06 02:01
kafka:分布式消息系统,由linkedin使用scala编写,用于活动流以及运营数据处理管道的基础支持,具有高水平扩展和高吞吐量的优势。
作为数据管道或者消息系统来使用
与其他几种mq的对比:
组成部分概述:
一些概念:
topic:类似于新闻板块中的体育,财经,娱乐之类的分类概念,实际业务中通常是一个业务对应一个主题。
分区(partition):一个topic中消息数据被分为多个分区(partition),分区是kafka中消息消费的最小单位,一个分区可以看作为一个FIFO的队列。
大致的架构图如下:
副本备份是从0.8版本开始的新功能,保证了该系统中数据的高可靠性,防止某一个broker宕机,造成系统数据丢失不可用。
zookeeper提供分布式状态管理,分布式配置管理以及分布式锁管理等。
zk集群要求奇数数量的机器,因为本身要求集群中必须存活半数以上的机器来维持服务的正常运转。
zk配置文件的重点:
一、配置集群机器的快照数据地址。
二、配置事务日志数据的地址。
三、配置所有集群机器的通讯接口以及选举接口。
四、配置的id写入到快照数据目录下面的myid文件中。
五、可以使用crontab -e生成定时任务来调用zkCleanup.sh脚本定时清除历史日志。
阅读全文
0 0
- kafka初步认知
- kafka初步
- 项目负责人的初步认知
- Oracle_初步认知
- XMPP 初步认知
- Mybaites初步认知
- 测试的初步认知
- haslayout初步认知
- 物联网初步认知
- react.JS初步认知
- springSecurity初步认知
- 微博timeline初步认知
- kolla项目初步认知
- 初步认知shell
- Servlet初步认知
- IDE&接口初步认知
- 数据的初步认知
- 初步认知HashSet
- spring jpa no pro…
- 性能测试知识体系
- scrapy 入门
- Power Strings 【poj-2406】【KMP】
- hadoop 建立多级目录 报错误…
- kafka初步认知
- java线程并发基础
- ubantu 下chrome 崩溃的解决办法
- Android Service 详解一(超详细)
- python 怎么随机生成15位随机数字
- aws s3 递归上传和下载
- 剑指offer--圆圈中剩下的数字--约瑟夫环/循环队列
- shell 获取上个月或者上一年…
- awk 按照某个key分发文件的妙用