hadoop 之 Map数据处理（Reduce不参与）

这几天刚刚接触了MR，发现其对大数据的处理是真的强大。不提执行速度，单单简单的API调用也是非常的容易上手。
不过在学习的过程中，遇到一个需求，就是对一堆数据中的学科编号映射成对应的中文。仔细想一想觉得该过程根本不需要用到Reduce的过程，只要在Map执行之前，调用setUp把学科编号和对应中文存储在HashMap中，然后再在Map对每一行的数据进行处理即可。记录一下该过程，方便以后回顾。

我自定义MapTestMapper来继承Mapper的类，来完成map过程。

/*第一个参数是Mapper的输入key，默认是一个文件的偏移量， *第二个参数是Mapper的输入value，默认就是一行行的读取。 *第三,四个参数是输出的key和value。 *我的输出类型是NullWritable,因为在map输出的时候，我不需要输出任何的value，只要把输入进来的key处理一下，再将输入key处理一下当初输出key写出去即可 */public static class MapTestMapper extends Mapper<Object, Text, Text, NullWritable>{        private Map<String,String> subjectMap =  new HashMap<>();//存放学科编号和中文的容器        private Text text = new Text();        @Override        protected void setup(Mapper<Object, Text, Text, NullWritable>.Context context)                throws IOException, InterruptedException {//会在map运行之前被调用            //数据的位置            String uri="hdfs://10.1.11.111:8020/user/mysql/subject_patent_map/part-m-00000";              Configuration configuration=new Configuration();              FileSystem fileSystem=FileSystem.get(URI.create(uri), configuration);            //数据的读入操作            FSDataInputStream in=null;              in=fileSystem.open(new Path(uri));              InputStreamReader isr = new InputStreamReader(in,"utf-8");            BufferedReader br = new BufferedReader(isr);            String line;            //数据处理后放到subjectMap中            while((line = br.readLine()) != null){                String[] strs = line.split("'");                if(strs.length > 1){//防止缺少areacode的unit_areacode进入                    subjectMap.put(strs[0],strs[1]);                }            }        }        /**真正执行的代码我就不显示了*/        @Override        protected void map(Object key, Text value, Context context)                throws IOException, InterruptedException {            text.set(subjectMap.get("A61K36".substring(0, 3)));            context.write(text, NullWritable.get());        }    }

那么在设置job的时候，就需要表明我们的过程是不需要执行Reduce的。Job的输出就不再看Reduce了，而是要看Map所以Key是Text，value是NullWritable。

public static void main(String[] args) throws Exception {        Configuration conf = new Configuration(); // 启用默认配置        String[] otherArgs = new GenericOptionsParser(conf, args)                .getRemainingArgs();        if (otherArgs.length != 2) {            System.err.println("Usage: wordcount <in> <out>");            System.exit(2);        }        conf.set("mapred.jar","C:\\Users\\GEKL\\Desktop\\a.jar");        Job job = new Job(conf, "word count");// 定义一个job        job.setJarByClass(NewWordCount.class);// 设定执行类        job.setMapperClass(MapTestMapper.class);// 设定Mapper实现类        //job.setCombinerClass(IntSumReducer.class);// 设定Combiner实现类        //job.setReducerClass(IntSumReducer.class);// 设定Reducer实现类        job.setOutputKeyClass(Text.class);// 设定OutputKey实现类,Text.class是默认实现        job.setOutputValueClass(NullWritable.class);// 设定OutputValue实现类        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));// 设定job输入文件夹        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));// 设定job输出文件夹        System.exit(job.waitForCompletion(true) ? 0 : 1);    }