hadoop一些基本知识——Hadoop reducer类的阅读
来源:互联网 发布:新浪php面试题及答案 编辑:程序博客网 时间:2024/06/07 13:29
在Hadoop的reducer类中,有3个主要的函数,分别是:setup,clearup,reduce。代码如下:
/** * Called once at the start of the task. */ protected void setup(Context context ) throws IOException, InterruptedException { // NOTHING }
/** * This method is called once for each key. Most applications will define * their reduce class by overriding this method. The default implementation * is an identity function. */ @SuppressWarnings("unchecked") protected void reduce(KEYIN key, Iterable<VALUEIN> values, Context context ) throws IOException, InterruptedException { for(VALUEIN value: values) { context.write((KEYOUT) key, (VALUEOUT) value); } }
/** * Called once at the end of the task. */ protected void cleanup(Context context ) throws IOException, InterruptedException { // NOTHING }
在用户的应用程序中调用到reducer时,会直接调用reducer里面的run函数,其代码如下:
/* * control how the reduce task works. */ @SuppressWarnings("unchecked") public void run(Context context) throws IOException, InterruptedException { setup(context); while (context.nextKey()) { reduce(context.getCurrentKey(), context.getValues(), context); // If a back up store is used, reset it ((ReduceContext.ValueIterator) (context.getValues().iterator())).resetBackupStore(); } cleanup(context); }}
由上面的代码,我们可以了解到,当调用到reduce时,通常会先执行一个setup函数,最后会执行一个cleanup函数。而默认情况下,这两个函数的内容都是nothing。因此,当reduce不符合应用要求时,可以试着通过增加setup和cleanup的内容来满足应用的需求。
0 0
- hadoop一些基本知识——Hadoop reducer类的阅读
- hadoop一些基本知识——Hadoop mapper类的阅读
- Hadoop reducer类的阅读
- Hadoop mapper类和reducer类的阅读 Hadoop(1)
- Reducer类——hadoop
- hadoop一些基本知识——hadoop HDFS文件系统的特征
- Hadoop Streaming的一些基本知识
- 关于Hadoop中reducer端combiner的一些思考
- Hadoop的Reducer不运行
- hadoop选择reducer的个数
- hadoop一些基本知识——Mapreduce 整个工作机制图
- hadoop一些基本知识——Mapreduce shuffle和排序
- Hadoop Reducer类中的reduce方法不执行的原因
- hadoop一些基本知识——Hadoop简介(1):什么是Map/Reduce
- hadoop的reducer输出多个文件
- hadoop的reducer输出多个文件
- 【hadoop】reducer个数选择
- Hadoop Reducer个数设置
- android 4.4 添加物理按键
- Tools - John The Ripper
- 图标收藏
- sqlmap使用笔记
- SPRING+JUNIT单元测试s
- hadoop一些基本知识——Hadoop reducer类的阅读
- 算法之二叉树各种遍历
- uitextfield 设置左图标以及图标文字间距,输入框背景图切换
- jquery设置元素的readonly和disabled
- CGContext用法详解
- cell去重 覆盖代码
- 台大机器学习基石笔记(三)——VC 维2
- 2012年5月SAT香港真题解析
- 96 n-1位数