MapReduce中名字的通俗解释--故事会

来源:互联网 发布:java工程打成war包 编辑:程序博客网 时间:2024/04/29 15:12

想必大家在学习hadoop/mapreduce的时候对于遇到的好些学术名词已经很是头疼,虽然老外已经是很实诚的使用一些字面词义的单词了,但是要全部理解并指导整个mapReduce的运作还是有点费劲的,本人就是,于是就给自己编了一个故事,方便自己记住和了解。

名词:Map  ,Reduce,   job, JobTracker  ,TaskTracker  ,Task  ,Speculative Task


BOSS

有一天BOSS说:“我要吃蜂蜜”,注意,这个时候你就必须要响应BOSS,否则以后怎么加工资啊,所以job 就来了,这个job是啥?

BOSS要吃蜂蜜,那job就是  把蜂蜜端到BOSS面前,立马的,赶紧的。


这个时候BOSS的助手喊了一声“MAP” 

好,下面的人都懂的,一个虔诚的boss信徒站了出来,注意这个时候信徒就是JobTracker ,信徒吹了一声很响的口哨,马上几只蜜蜂串了出来,嗡嗡围在信徒周围;


这时蜜蜂就是TaskTracker  了,信徒向蜜蜂介绍了下BOSS的情况,情况就是BOSS要吃蜂蜜,那个想啊,快要到了夜不能眠的地步了,我们要急BOSS所急,马上采集

蜂蜜。

蜜蜂飞到花那边,采啊采,采啊采,采啊采,采啊采,这些歌蜂蜜比较笨,采好后都拽在手里(当然也有不笨的,采完就放桶里了)。。。。太阳快下山了,task也该完成了吧,(服务器性能不好,task花了那么长时间,task就是采集花蜜这件事),


晚上了,要开吃了,甜点蜂蜜呢?这个时候BOSS的助手又喊了一声“Reduce”,

喊得比较响,蜜蜂听到了,他们赶紧把手中的花蜜放到桶里,注意每个蜜蜂的桶都是一模一样的,这个动作就是Reduce。注意,前面有蜜蜂已经采完就放桶里了,那说明啥?

说明map和reduce可以同时进行的。


Speculative Task是啥?那个是防止BOSS的蜂蜜吃不饱,特意多采的,备用的。



听说后来老板喝蜂蜜喝的很满意,觉也睡好了,大家都知道了,后来通说这个蜜蜂采蜜的花园名叫做HDFS, 过去采蜜的也多了,有HIVE ,有.



















原创粉丝点击