Hadoop 案例4----平均成绩

来源：互联网发布：安卓蓝牙调试助手源码编辑：程序博客网时间：2024/05/29 17:53

1、需求分析
对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。
要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。

2、原始数据
1）math：

张三    88李四    99王五    66赵六    77

2）china：

张三    78李四    89王五    96赵六    67

3）english：

张三    80李四    82王五    84赵六    86

3、设计思考
        Map处理的是一个纯文本文件，文件中存放的数据时每一行表示一个学生的姓名和他相应一科成绩。Mapper处理的数据是由InputFormat分解过的数据集，其中 InputFormat的作用是将数据集切割成小数据集InputSplit，每一个InputSplit将由一个Mapper负责处理。此外，InputFormat中还提供了一个RecordReader的实现，并将一个InputSplit解析成<key,value>对提供给了map函数。InputFormat的默认值是TextInputFormat，它针对文本文件，按行将文本切割成InputSlit，并用 LineRecordReader将InputSplit解析成<key,value>对，key是行在文本中的位置，value是文件中的一行。
        Map的结果会通过partion分发到Reducer，Reducer做完Reduce操作后，将通过以格式OutputFormat输出。
        Mapper最终处理的结果对<key,value>，会送到Reducer中进行合并，合并的时候，有相同key的键/值对则送到同一个 Reducer上。
        Reducer是所有用户定制Reducer类地基础，它的输入是key和这个key对应的所有value的一个迭代器，同时还有 Reducer的上下文。
        Reduce的结果由Reducer.Context的write方法输出到文件中。

4.Mapper程序：

package cn.edu.bjut.average;import java.io.IOException;import org.apache.hadoop.io.DoubleWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;public class AverageMapper extends Mapper<LongWritable, Text, Text, DoubleWritable>{    @Override    protected void map(LongWritable key, Text value, Context context)            throws IOException, InterruptedException {        String line = value.toString().trim();        String[] vals = line.split("\t");        if(2 == vals.length) {            String name = vals[0];            double score = Double.parseDouble(vals[1]);            context.write(new Text(name), new DoubleWritable(score));        }    }}

5.Reducer程序：

package cn.edu.bjut.average;import java.io.IOException;import org.apache.hadoop.io.DoubleWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;public class AverageReducer extends Reducer<Text, DoubleWritable, Text, DoubleWritable>{    @Override    protected void reduce(Text key, Iterable<DoubleWritable> values, Context context)            throws IOException, InterruptedException {        double allScore = 0, averageScore = 0, sum = 0;        for(DoubleWritable score : values) {            allScore += score.get();            sum += 1;        }        if(sum != 0) {            averageScore = allScore/sum;        }        context.write(key, new DoubleWritable(averageScore));    }}

6.主程序：

package cn.edu.bjut.average;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.DoubleWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class MainJob {    public static void main(String[] args) throws Exception {        Configuration conf = new Configuration();        Job job = new Job(conf, "average");        job.setJarByClass(MainJob.class);        job.setMapperClass(AverageMapper.class);        job.setMapOutputKeyClass(Text.class);        job.setMapOutputValueClass(DoubleWritable.class);        job.setReducerClass(AverageReducer.class);        job.setOutputKeyClass(Text.class);        job.setOutputValueClass(DoubleWritable.class);        FileInputFormat.addInputPath(job, new Path(args[0]));        Path path = new Path(args[1]);        FileSystem fs = FileSystem.get(conf);        if(fs.exists(path)) {            fs.delete(path, true);        }        FileOutputFormat.setOutputPath(job, path);        job.waitForCompletion(true);    }}

0 0