MAPREDUCE流程3
来源:互联网 发布:三坐标测量仪怎样编程 编辑:程序博客网 时间:2024/06/06 08:49
我们以wordcount为例,假设有个6400M的文件,100台hadoop机器(准确地说应该是tasktracker机),默认block大小为64M,这样每台执行map的文件刚好是一个64M的block文件(假设这个分发过程已经完成,同时忽略备份数之类的细节),并且我们使用10个reduce任务来归并文件。Hadoop的mapreducer的执行过程如下:
这100台机器上面的map都是并发、独立的执行,以wordcount为例,步骤如下:
1、
2、
3、
4、
5、
6、
7、
8、
所以,总的流程应该是这样的:
*
由此我们也可以看出,执行reduce的代价还是有些的,所以如果我们的应用只使用map就能搞定的话,那就尽量不要再有reduce操作在其中。
- MAPREDUCE流程3
- 【3-2】mapreduce执行流程
- MapReduce流程
- MapReduce实现流程分析
- MAPREDUCE计算流程
- MapReduce流程分析
- MapReduce流程分析
- MapReduce流程分析
- hadoop mapreduce执行流程
- mapreduce流程1
- mapreduce流程2
- 详解MapReduce工作流程
- MapReduce执行流程
- 详解MapReduce工作流程
- MapReduce 流程详述
- MapReduce执行流程
- hadoop mapreduce执行流程
- MapReduce执行流程
- Mybatis哲学
- C#委托基础6——泛型委托Predicate
- mapreduce流程2
- 各种距离
- 341. One eyewitness is better than ten hearsays.百闻不如一见
- MAPREDUCE流程3
- ZOJ 3675 Trim the Nails 小水题
- 生活,只愿平静
- SQL由入门到精通的学习
- 一个不错的arm资料下载网站
- C#委托基础7——匿名方法
- android 分享功能开发
- C#委托基础8——lambda表达式
- QT4.8-VS2008-安装