初识kafka
来源：互联网 发布：js中date加减 编辑：程序博客网 时间：2024/05/22 14:04
什么是Apache kafka？
系统应用用户的活动数据、请求数据、交互数据、运行维护数据如性能监测、服务器CPU指标这些大量的数据都在无时无刻的产生，Kafka便是有着一套成熟的消息处理方案的消息系统，支持高吞吐量的分布式发布订阅消息模式，它可以处理消费者规模的网站中的所有动作流数据。也是Apache的顶级开源框架。
应用领域
已被多家公司用作多类型的数据管道和消息系统，如淘宝、支付宝、百度等；并且一些大数据计算框架如笔者前面介绍的storm、spark都支持与kafka的集成。主要应用场景是kafka作为消息接受系统，将负责接收大量数据，传输给storm进行数据计算处理。
具体在项目中的应用部署，kafka主要应用在数据计算框架和客户端请求中间，前端程序将消息push到Kafka 服务器集群的某一broker中，通过订阅模式，数据处理框架从Kafka中获取数据进行计算。
Kafka相关概念
AMQP协议：
Advanced Message Queuing Protocol，高级消息队列协议提供了消息交互规范，它和kafka或这rabbitMQ、activeMQ的关系就类如JPA规范和hibernate以及多个实现JPA规范的持久层框架一样。
kafka架构：
Producer：消息生产者，负责发布消息到Kafka broker
Broker ：Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.
Consumer：消息消费者，向Kafka broker读取消息。
kafka的消息分两个层次：
Topic：
Kafka将消息以topic为单位进行组织。如同生活中我们将消息分类为娱乐消息、体育消息、财经消息，kafka将一种消息类别组织为一个topic，一般系统以不同业务将消息进行topic划分。
Partition：
一个topic中的消息数据按照多个分区进行组织，分区是kafka消息队列的最小组织单位。按照先进先出FIFO队列进行消息管理。
Kafka消息处理流程
- 顶
- 踩
- 上一篇高并发负载均衡（二）——Nginx 和LVS
- 猜你在找
- 1楼 邱慕夏昨天 21:45发表 [回复]
- 哎呀，不错啊，棒棒哒，学习了！！！
核心技术类目
- 个人资料
- 访问：39285次
- 积分：3457
- 等级：
- 排名：第5799名
- 原创：119篇
- 转载：4篇
- 译文：0篇
- 评论：1597条
钟艾伶
- 文章搜索
- 文章分类
- 【Mybatis】(4)
- 【MongoDB】(6)
- 【EJB】(6)
- 【Spring MVC】(6)
- 【项目管理】(6)
- 【版本控制】(3)
- 【Java】(37)
- 【多线程】(3)
- 【单元测试】(6)
- 【项目收获】(14)
- 【设计模式】(7)
- 【敏捷开发】(2)
- 【SSH架构】(17)
- 【.NET】(8)
- 【UML】(7)
- 【工作流】(0)
- 【项目开发工具】(0)
- 文章存档
- 2016年03月(6)
- 2016年02月(9)
- 2016年01月(17)
- 2015年12月(9)
- 2015年11月(6)
- 阅读排行
- SQL sever 与 v b 的连接——学生信息管理系统DSN(1080)
- VB实时错误'3021' BOF \EOF(921)
- C#错误和异常处理(846)
- 再谈软工文档(816)
- C#运算符重载(800)
- 学生信息管理系统总结(791)
- C#之面向对象(738)
- DateDiff函数解析(734)
- 工厂方法模式VS简单工厂(731)
- 设计模式之设计原则（一）(726)
- 评论排行
- MongoDB基础篇——走进非关系型数据库mongoDB(69)
- .Net/Java面试总结(65)
- 我的1314(51)
- 工厂方法模式VS简单工厂(41)
- 饿汉懒汉都是好汉——单例模式(40)
- 初识.NET —— 总结很重要(40)
- 设计模式——怎么就给分成三类了呢？(39)
- C#运算符重载(36)
- UML总结(36)
- C#之面向对象(35)
- 推荐文章
- *Viewpager实现底部滑动菜单，同时取消预加载
- *几种软负载均衡策略分析
- *浅谈Storm流式处理框架
- *阿里2016实习offer五面经验与总结
- *手把手教你打造一个心电图效果View Android自定义View
- *三十分钟理解博弈论“纳什均衡” -- Nash Equilibrium
- 最新评论
- 什么是REST？以及RESTful的实现
邱慕夏: 不错不错，学习了！！！
- 高并发负载均衡（一）——企业架构分析和DNS
邱慕夏: 真的很棒，学习了！！！
- Kafka分布式消息系统
- 初识Kafka
- Kafka 初识
- 初识kafka
- 初识kafka
- Kafka初识
- kafka初识
- 初识kafka
- 初识kafka
- Kafka初识
- 初识Kafka
- Kafka学习笔记：初识Kafka
- 初识Kafka（一）
- kafka 的 zookeeper 初识
- Kafka温故而知新之初识
- （一）Kafka中文教程-初识kafka
- Kafka教程（二）---------------Kafka架构初识
- 初识Apache Kafka+JAVA程序实例
- 初识Kafka：构架、生产消费模型以及其他相关概念
- charAt()用法
- Socket 关于设置Socket连接超时时间
- Qt之透明提示框
- Logstash的安装和使用
- java.lang.ClassNotFoundException: org.springframework.web.context.request.RequestContextListener
- 初识kafka
- 线性表的应用
- [Unity官方文档翻译]Import Settings unity资源中的导入设置
- iOS真机调试一天后崩溃
- link-cut tree预习
- 安装xampp后apache不能启动解决方法
- 获取浏览器的名称与版本信息
- 2016第一篇章
- a & (a-1) ?
