mapreduce去掉重复行

思想

mapreduce可以分为map和reduce两个过程，我们知道最终结果是reduce输出的k,v中的k一定不是重复的，是排序合并之后的。我们就利用这一点在mapper阶段，不需要做任何事情，只要将输入value（一行内容）作为key输出到reduce即可。由于这里不做wordcount，所以可以写：context.write(value,NullWritable.get())。NullWritable是Writable的一个特殊类，实现方法为空实现，不从数据流中读数据，也不写入数据，只充当占位符，如在MapReduce中，如果你不需要使用键或值，你就可以将键或值声明为NullWritable,NullWritable是一个不可变的单实例类型。

特别说明：其实既然不用关心map的输出value，所以是什么类型都无所谓，下文用的是Text类型，只不过是空文本，不要带内容就行。

同样，reduce阶段不用关心value，只需要关心key即可，输出的value仍然是NullWritable。

代码

MyMapper代码：

package algorithm; import java.io.IOException; import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper; public class MyMapper extends        Mapper<LongWritable, Text, Text, Text> {    //输入文件是数字 不过可能也有字符等 所以用Text，不用LongWritable    public void map(LongWritable key, Text value, Context context)            throws IOException, InterruptedException {        context.write(value, new Text());//后面不能是null，否则，空指针     } }

MyReducer代码：

package algorithm; import java.io.IOException; import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer; public class MyReducer extends Reducer<Text, Text, Text, Text> {     public void reduce(Text key, Iterable<Text> value, Context context)            throws IOException, InterruptedException {        // process values        context.write(key, null); //可以出处null    } }

测试类：

package algorithm; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class Test{     public static void main(String[] args) throws Exception{        // TODO Auto-generated method stub        Configuration conf = new Configuration();        Job job = new Job(conf,"DuplicateRemove");        job.setJarByClass(QuchongMr.class);        job.setMapperClass(MyMapper.class);        job.setReducerClass(MyReducer.class);        job.setOutputKeyClass(Text.class);        //输出是null，不过不能随意写  否则包类型不匹配        job.setOutputValueClass(Text.class);                 job.setNumReduceTasks(1);        //hdfs上写错了文件名 DupblicateRemove  多了个b        //hdfs不支持修改操作        FileInputFormat.addInputPath(job, new Path("hdfs://192.168.58.180:8020/input/inputdata.txt"));        FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.58.180:8020/output"));        System.exit(job.waitForCompletion(true) ? 0 : 1);    } }