关于map reduce的一点思考

来源:互联网 发布:数控车床电脑编程软件 编辑:程序博客网 时间:2024/06/07 02:28

最近看了一篇map reduce的文章,个人感觉map reduce就是一个拆跟一个合的过程,这跟前端工程模块化里的拆跟合很相似,前端工程变大了之后,要把任务分解,所以有了模块化的管理工具,最后用工程化的方式再把各个模块合起来。

同样map reduce的拆也是为了更好地合,只不过map reduce是为了解决一个个具体的任务,map是站在分解任务的角度来讲的,任务最初的状态是怎样的,怎样分解最合适,而合是站在任务最终得到的结果的角度上来讲的,即任务最终要得到的形式是怎样的,按照这个形式拆开得到的结果就是任务最初分解之后得到的中间结果再一次聚合得到的形式。

如果连任务最终达到的结果形式都不知道,那就无法对结果形式进行分解,进而也就无法得知任务初步分解后该怎样进行进一步的处理。

1 0