Map-Reduce体系结构学习笔记一
来源:互联网 发布:阿里云服务器磁盘io 编辑:程序博客网 时间:2024/06/05 15:20
一.Mapper
负责“分”。把复杂到任务分解为若干个“简单的任务”执行。
二.Reducer
1.对map阶段的结果进行汇总。
2.reducer的数目:由mapred-site.xml文件里mapred.reduce.tasks决定。
三.Shuffler(mapper和reducer直接的一个过程)
1.把mapper的输出按某种key值重新切分并组合成n份。
2.把符合某范围的key值输出送到特定的reducer那处理。
注:在执行过程中,访问http://192.168.1.102;50030/jobtracker.job可以显示作业的运行情况
0 0
- Map-Reduce体系结构学习笔记一
- Python学习笔记 - map reduce
- 【Hadoop学习】之Map-Reduce(一)
- hadoop学习笔记之Map-Reduce
- python学习笔记,map/reduce,filter,sorted
- map,zip,reduce,lambda函数学习笔记
- Oracle学习笔记一:体系结构
- oracle体系结构学习笔记《一》
- filter、map、reduce学习
- python学习--map/reduce
- hadoop学习笔记<四>----map-reduce工作原理
- Hadoop学习笔记(二)——map reduce Helloworld
- Hadoop学习笔记(Map-Reduce的工作、调度机制)
- JavaScript学习笔记十一:高阶函数-map/reduce
- python学习笔记 高阶函数map/reduce
- Scala学习笔记之`map`、`reduce`和`foreach`
- hadoop学习笔记之深入了解map-reduce
- Python学习笔记: Python3中map、filter、reduce函数
- linux下zip命令打包与解包
- GET方法获取网页相关
- mysql 远程连接失败
- linux PATH环境变量
- get请求中文乱码问题
- Map-Reduce体系结构学习笔记一
- linux 更改文件属主
- nvelocity语法
- 《JAVA语言的科学与艺术》学习笔记01
- java的反射机制
- 我的RUBY之路--第四周(02) Linux 下搭建vim + android SDK + jruby (不使用eclipse )
- glib的slab算法实现学习
- 电脑启动后按键介绍
- [webservice] 基于Axis2的WebService开发及Demo下载(包含jar包)