MapReduce原理
来源:互联网 发布:库房管理软件 知乎 编辑:程序博客网 时间:2024/06/02 04:53
MapReduce的工作过程分为两个阶段:map阶段和reduce阶段。每个阶段都有键/值对作为输入和输出,并且他们的类型可由程序员选择。程序员还具体定义了两个函数:map函数和reduce函数。
我们在map阶段输入的是原始的NCDC数据。我们选择的是一种文本输入格式,以便数据集的每一行都会是一个文本值。键是在文件开头部分文本起始处的偏移量,但我们没有这方面的需要,所以将其忽略。
map函数很简单。我们使用map函数来找出年份和气温,因为我们只对它们有兴趣。在本例中,map函数只是一个数据准备阶段,通过这种方式来建立数据,使得reducer函数能在此基础上进行工作:找出每年的最高气温。map函数也是很适合去除已损记录的地方:在这里,我们将筛选掉缺少的、不可靠的或错误的气温数据。
- mapreduce(六):MapReduce原理
- MapReduce原理
- MapReduce原理
- MapReduce原理
- MapReduce原理
- MapReduce原理
- MapReduce原理
- MapReduce原理
- MapReduce原理
- MapReduce原理
- mapreduce原理
- MapReduce原理
- MapReduce原理
- MapReduce原理
- MapReduce原理
- mapreduce原理
- MapReduce原理
- mapreduce 原理
- linux文件权限管理
- 四极管:串口驱动的具体开发(三)
- 最大子矩阵和问题 DP poj 1050
- 深入浅出之正则表达式
- String StringBuffer StringBuilder
- MapReduce原理
- Python中变量传递时的引用和赋值
- 毕业5年决定你的命运 --------值得所有不甘平庸的人看看
- 用python写的一个多线程的端口扫描
- ArrayList 和Vector HashTable和HashMap
- 二叉查找树
- Eclipse常用设置
- 基本功练习_3_1_之(sim300 GPRS数据收发程序)
- C++ malloc() and free()