MapReduce 详解一

导言：很多时候数据太大需要并发时候我们要写map reduce 来实现，但mr计算的传入key和value有点疑惑；这里有点让人疑惑为什么要这么写；这是因为与传统的函数不同，一个函数有明确的数据源明确的输入输出。但在mr中除了key、value还有context,这个有点奇妙，这里我们只是定义却没有调用。

一、传统开发

1.传统定义函数

public static class A{   public string fun(String str)  {    System.out.println(str);  }}

2.调用函数

A a=new A();a.fun('a');

二、分布式开发

1.自定义函数

protected void map(LongWritable key,Text value,Context context){     final String[] splited = value.toString().split("\t");     for(String word:splited){       context.write(new Text(word),new LongWriteable(1L));}}

2.调用函数

Configuration conf = new Configuration();final Job job = new Job(conf, mapreduce.class.getSimpleName());job.setMapperClass(MyMapper.class);

严格意义来讲这里只是一个注册。同时真是因为这里并未和map函数挂钩。结构不如传统开发清晰，容易理解，所以让传统开发人员很迷惑，初学者更是摸不着头脑。所以造成我们不知道key和value这两个参数到底是什么意思。这里我们需要知道的，其实输入参数就是我们要分析的文件，同时由于这个参数过大，因此我们需要对它进行分割，然后由map调用。

Key:都说是偏移量，这里换另外一种说法，我们是否知道字符串的长度，使得也就是说我们首先计算一个字符串的长度，然后按照字符串来进行不断的分割。
value:value这个值，是我们真正使用的，我们也就是对其进行分割。

我们知道了上面，而且有很多的解说，但是这里面很多人还是很迷惑。为什么那？下面整体来讲讲：
加入一个文件的内容：

         1，2，3，4

         a，b，c，d
         1，a，2，b

上面是一个文件的内容。那么我们来看了。上面那一个是map中的输入值，会有几个map。正常情况下：会有三个map值。

这里又会产生问题了，那么这三行数据，是谁划分的，是由谁来做的，由FileInputFormat来帮我们做的工作。

那么value是什麽？1，2，3，4这就是所传递的value值。我们所作的工作是什麽？进一步的划分数据，也就是进一步的分割这个字符串。分割之后，我们传递给reduce。

我们所书写的reduce完成了什么工作。
其实我们完成一个输出的工作：
有多少个分区就有多少个reduce。也就是说，我们所做的只不过是一个计数的工作。

怎么计数的那？对谁计数？
比如
分区1：两个1
分区2：两个2
分区3：一个b

这里的分区可以理解一个容器：容器里装着什么，被分组的数据。我们所定义的reduce做了什么工作：数数，数这里面装个几个数据。那么数数怎么实现，就是通过下面进行数数的。

  for (IntWritable val : values) {            sum += val.get();            System.out.println("val.get():" + val.get());        }