kafka学习
来源:互联网 发布:离线网络驱动 编辑:程序博客网 时间:2024/06/05 23:47
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。
****Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。**
阅读全文
0 0
- kafka学习
- kafka 学习
- kafka学习
- kafka学习
- kafka学习
- kafka学习
- Kafka学习
- kafka学习
- kafka学习
- kafka学习
- kafka学习
- kafka学习七:kafka 运维
- 学习kafka:log4j写入kafka
- Kafka学习笔记:初识Kafka
- Kafka学习笔记
- kafka学习之路
- kafka学习之二
- Kafka学习笔记
- 原码、反码、补码
- 作业
- 项目管理【一】
- Mysql 数据库开发规范
- okhttp下载图片
- kafka学习
- 作业
- Hadoop中wordCount功能实现Demo
- 仿ios的滑轮控件,可以自己监听滚动停止的事件
- http请求过程概述及长连接、短连接简述
- String对象不可变
- Android使用okhttp封装多文件批量下载 (带进度条,取消下载)
- vm安装centos7
- Android获取手机联系人匹配用户表并按字母A-Z排序展示