MapReduce 学习日志之我的MapReduce程序学习

  将一批电话通信清单，记录了用户A拨打用户B的记录，需要做一个倒排索引，记录拨打给用户B的所有用户A。如

原有的txt 为：

 

首先，我们应该把源文件传到Hdfs上，然后将原始数据进行分割，将被叫作为KEY，主叫作为Value,将拨打相同被叫的主叫号码汇总起来输出到HDFS。程序如下：

package com.xxs;

 

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.conf.Configured;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.*;

import org.apache.hadoop.mapreduce.*;

 

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 

import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

import org.apache.hadoop.util.Tool;

import org.apache.hadoop.util.ToolRunner;//此处为导入的包，一般为固定的。

 

 

 

public class MapTest_2 extends Configured implements Tool{

    enum Counter

    {

     LINESKIP,

    }//出错的行，出错计数器

public static class Map extends Mapper<LongWritable,Text,Text,Text>

{

public void map(LongWritable key,Text value,Context context)throws IOException,InterruptedException

{

String line=value.toString();

try

{

String [] lineSplit=line.split(" ");

String anum=lineSplit[0];

String bnum=lineSplit[1];

context.write(new Text(bnum),new Text(anum));

}

catch(java.lang.ArrayIndexOutOfBoundsException e)

{

context.getCounter(Counter.LINESKIP).increment(1);

return;

}

}

}

public static class Reduce extends Reducer<Text,Text,Text,Text>

{

public void reduce(Text key,Iterable<Text>values,Context context)throws IOException,InterruptedException

{

String valueString;

String out="";

for(Text value:values)

{

valueString=value.toString();

out+=valueString+"|";

}

context.write(key, new Text(out));

}

}

public int run(String[] args)throws Exception

{

Configuration conf=getConf();

Job job=new Job(conf,"MapTest_2");//任务名

job.setJarByClass(MapTest_2.class);//指定class

FileInputFormat.addInputPath(job, new Path(args[0]));//输入路径

FileOutputFormat.setOutputPath(job,new Path(args[1]));//输出路径

job.setMapperClass(Map.class);

job.setReducerClass(Reduce.class);

job.setOutputFormatClass(TextOutputFormat.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(Text.class);

job.waitForCompletion(true);

return job.isSuccessful()?0:1;

}

public static void main(String[] args)throws Exception

{

int res=ToolRunner.run(new Configuration(),new MapTest_2(),args);

System.exit(res);

}

 

 

}

设置run-run configurations的Arguments为hdfs://192.168.187.128:9000/user/xxs/input/Text_2.txt   hdfs://192.168.187.128:9000/user/xxs/out

其中 out目录不能已经存在。

得到最终的结果：