Hadoop之MapReduce概念
来源:互联网 发布:c语言生成Excel文件 编辑:程序博客网 时间:2024/06/05 14:15
一、MapReduce概述
1.MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题.
2.MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单。
3.这两个函数的形参是key、value对,表示函数的输入信息。
二、MapReduce特点
易于编程
良好的扩展性
高容错性
适合PB级以上海量数据的离线处理
三、MapReduce—不擅长的方面
1.实时计算
像MySQL一样,在毫秒级或者秒级内返回结果
2 流式计算
MapReduce的输入数据集是静态的,不能动态变化
MapReduce自身的设计特点决定了数据源必须是静态的
3 DAG(有向无环图)计算框架
多个应用程序存在依赖关系,后一个应用程序的输入为前一个的输出
四、常见MapReduce应用场景
1 简单的数据统计,比如网站pv、uv统计
2 搜索引擎建索引
3 海量数据查找
4 复杂数据分析算法实现
聚类算法
分类算法
推荐算法
图算法
0 0
- Hadoop之MapReduce概念
- hadoop概念-了解MapReduce
- hadoop概念-MapReduce数据流
- Hadoop之Mapreduce------>Mapreduce原理
- Hadoop--Hadoop核心之MapReduce
- hadoop之mapreduce
- Hadoop之MapReduce
- Hadoop 之 mapreduce
- Hadoop之mapreduce
- hadoop之mapreduce实例
- Hadoop之MapReduce
- hadoop之mapReduce
- Hadoop之MapReduce 分析
- HADOOP之MAPREDUCE
- Hadoop之MapReduce
- Hadoop之谈谈MapReduce
- Hadoop之MapReduce命令
- hadoop之MAPREDUCE
- LeetCode | Remove Element
- freemarker使用
- Hive1.1安装配置,基于最小安装的CentOS7、hadoop2.6、MySQL
- GOF23之外观模式Demo
- debug往事
- Hadoop之MapReduce概念
- 人人都是架构师:非功能性需求
- Mysql分页负数sql攻击
- Linux下配置Java
- Java反射 具体需求实现案例一
- (win32)main&proc
- 实现Android 动态加载APK(Fragment or Activity实现)
- Date类重载“+”运算符
- C51:ERROR:bad operand type % 取模和取余