MapReduce理解

来源:互联网 发布:强袭魔女 知乎 编辑:程序博客网 时间:2024/06/05 08:19

MapReduce执行图
大致过程:
1. 将要执行的MapReduce程序复制到Master和每一台Worker机器中
2. Master决定Map程序与Reduce程序分别由哪些Worker机器执行
3. 将所有的文件分块,分配到执行Map程序的Worker机器中进行Map
4. 将Map后的结果存入Worker机器的本地磁盘
5. 执行Reduce程序的Worker机器远端读取每一份Map结果,进行调整排序,同时执行Reduce程序
6. 将使用者需要的运算结果输出



另外,这个博客写的挺不错。
http://www.cnblogs.com/sharpxiajun/p/3151395.html

0 0