MapReduce 的简单例子 WordCount的实现

     MapReduce 是由Google公司的JeffreyDean 和 Sanjay Ghemawat 开发的分布式编程模型。

学过并行算法的同学们应该知道其实现原理。不懂可以看课件以及博客。附上一张原理图：

然后我们要编写map 和 reduce 程序，这里当然是用火的不能再火的hadoop，具体的逻辑就写在注释里了，代码如下

map

package wordCount;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;/** * Created by zhangguanlong on 2017/11/6. *///前两个泛型是指定mapper输入数据的类型    //map reduce 的输入输出都是以key - value 对的形式封装的    //默认情况下，框架传递的mapper的输入数据中，key是要处理的文本中一行的起始偏移量，这一行的内容作为value    //使用hadoop自己的类型，实现了自己的序列化接口public class WCMapper extends Mapper<LongWritable,Text,Text,LongWritable>{    //mapreduce框架每读一行数据，就调用一次该方法    @Override    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {        //具体业务逻辑 写在此方法体中，业务处理的数据已经在参数中被传递进来 key value        //key 是这一行数据的起始偏移量 value 是这一行文本的内容        //拿到一行，切分单词        String line =value.toString();        String[] words=StringUtils.split(line," ");        //遍历这个单词数组，输出为k-v形式        for (String word:words){            context.write(new Text(word),new LongWritable(1));        }    }}

reduce

package wordCount;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;import java.io.IOException;/** * Created by zhangguanlong on 2017/11/6. */public class WCReducer extends Reducer<Text,LongWritable,Text,LongWritable>{    //框架在map处理完之后，将所有k—v对缓存起来，进行分组，然后传递一个组<key,values>，调用一次reduce方法    @Override    protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {        long count =0;        //遍历value 的list进行累加求和        for (LongWritable value:values){            count+=value.get();        }        //输出这一个单词的统计结果        context.write(key,new LongWritable(count));    }}

程序写完了，但只有这些还不够，还要有个类用来描述这个任务，因为map、reduce都是分散的，一个jar包里可能会有好多个map和reduce，所以运行时指定一下

要用哪一个map和reduce，写一个作业(job)类

package wordCount;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;/** * 用来描述一个特定的作业 * 比如，该作业使用那个类作为map，reduce * 可指定该作业要处理的数据所在的路径 * 指定该作业输出的结果放在那个路径 * Created by zhangguanlong on 2017/11/6. */public class WCRunner {    public static void main(String[] args) throws  Exception{        Configuration configuration=new Configuration();        Job job=Job .getInstance(configuration);        //classloader 加载时        //设置整个 job所用的类在哪个jar包        job.setJarByClass(WCRunner.class);        //改job，使用的map reduce的类        job.setMapperClass(wordCount.WCMapper.class);        job.setReducerClass(wordCount.WCReducer.class);        //指定map\reduce的输出数据k-V类型        job.setOutputKeyClass(Text.class);        job.setMapOutputValueClass(LongWritable.class);        job.setMapOutputKeyClass(Text.class);        job.setMapOutputValueClass(LongWritable.class);        //指定原始数据存放路径        FileInputFormat.setInputPaths(job,new Path("/wc/srcdata/"));        //处理结果 输出数据存放路径        FileOutputFormat.setOutputPath(job,new Path("/wc/output"));        //将job提交给集群运行        job.waitForCompletion(true);    }}

程序要跑的话需要放到hadoop环境中，我们先把程序打成ja包，然后把包传到hadoop集群服务器上去，可以用sftp传一下

然后hadoop要启动好，hdfs 和yarn

启动好应该是这样

[hadoop@zhang ~]$ jps3646 NodeManager6023 Jps3238 DataNode3390 SecondaryNameNode2888 NameNode3547 ResourceManager

 然后按照把数据放到代码中的路径，接着

[hadoop@zhang ~]$ hadoop jar HProject.jar wordCount.WCRunner

运行，打印的日志正常如下

然后在输出目录下找到结果

其中占零字节的_success文件只是个标志，结果存放在part-r-00000里，这是hadoop自动生成的。

细节如图。