辛星笔记之Hadoop权威指南第三篇combiner
来源:互联网 发布:人工智能应用场景 编辑:程序博客网 时间:2024/05/28 04:54
集群上的可用宽带限制了MapReduce作业的数量,因此最重要的一点是尽量避免map任务和reduce任务之间的数据传输。Hadoop允许用户针对map任务的输出指定一个合并函数,有时候我们也称作combiner,它就像mapper和reducer一样。
合并函数的输出作为reduce函数的输入,由于合并函数是一个优化方案,所以Hadoop无法确定针对map任务输出中任一条记录需要调用多少次合并函数。不管我们调用多少次合并函数,reducer的输出结果都应该一致。合并函数的规则限定了可以使用的函数类型。
我们仍然需要reduce函数来处理不同map输出中具有相同键的记录,它能够有效的减少map和reduce之间的数据传输量,在MapReduce作业中使用combiner,是需要谨慎考虑的。
在MapReduce程序中,合并函数是通过reducer接口来定义的,并且我们需要在JobConf中设置combiner类,这里使用的是setCombinerClass这个方法。
0 0
- 辛星笔记之Hadoop权威指南第三篇combiner
- Hadoop权威指南 第三章笔记
- Hadoop权威指南第三章笔记
- 辛星笔记Hadoop权威指南第二篇即数据流
- hadoop权威指南笔记之初识hadoop
- 辛星笔记之Hadoop权威指南第四篇HDFS简介
- 辛星笔记之Hadoop权威指南第五篇HDFS基本概念
- Hadoop权威指南(第三版)学习笔记之一初识Hadoop
- Hadoop权威指南笔记
- 菜鸟学习笔记--《Hadoop权威指南(第三版)》笔记
- hadoop 权威指南【第三版】
- 辛星笔记之Hadoop权威指南第一篇即MapReduce
- 《hadoop权威指南》学习笔记-hadoop I/O之压缩
- 《hadoop权威指南》学习笔记-hadoop I/O之Avro
- 《hadoop权威指南》学习笔记-hadoop I/O之SequenceFile
- Hadoop之Combiner与自定义Combiner(笔记8)
- 《hadoop权威指南》学习笔记
- 《hadoop权威指南》学习笔记
- Leetcode NO.160 Intersection of Two Linked Lists
- C++之重载操作符与友元
- shell脚本方便操作记录(持续添加)
- 第一个VC++2010 窗口程序
- 常见棋类AI人工智能算法
- 辛星笔记之Hadoop权威指南第三篇combiner
- Object-c 中字符串总结
- bluedroid 框架
- Cocos2d-x V2.x CCClippingNode 不裁剪异常显示 小米1、2等机型
- C++输出格式
- linux下weblogic启动报错:BEA-149205
- UVA - 11389 The Bus Driver Problem 贪心
- 默然日记20150301
- 计算机是如何启动的?