mapReduce原理浅析

我们以《Hadoop权威指南》这本书上的例子，来分析一下，MapReduce是如何工作的。
我们引用它分析气温的例子。这个例子还是非常经典的，我个人认为小缺点就是，没有对传统的程序是如何工作的进行对比，如果加入此项，它将是一个完美的东西，现在就让我们，来完美它。

手写我们写一段Java程序，实现相同的功能<分析1901年和1902年最高气温>,当然程序略加改动就可以分析最低气温，在改动一下，就可以高和低同时出现，废话了，呵呵。

这里需要使用气温的数据， 我会提供下载链接。

我们提出一行数据，看看，年份在哪里

0029029070999991901010106004+64333+023450FM-12+000599999V0202701N015919999999N0000001N9-00781+99999102001ADDGF108991999999999999999999

package org.pcwl;

/**
 * @author QQ:81739279 e-mail: [e-mail]
 * 需要的基本知识 java.lang.String API
 * 本段程序的目的是找到我们要使用的数据在什么地方
 * 注意: NCDC的气温数据精确到小数点后1为
 */
public class MaxTemperatureReady {

 /** 在1901年数据中，复制出来第一行，用于寻找年份、气温 */
 private static final String data = "0029029070999991901010106004+64333+023450FM-12+000599999V0202701N015919999999N0000001N9-00781+99999102001ADDGF108991999999999999999999";
 
 public static void main(String[] args) {
  
  // 显示年份 运行结果 15 ，我们需要4为，至19
  System.out.println(data.indexOf("1901"));
  
  // 气温，是一个数字，有正数和负数， 在字符串中，找看看，+/-在哪里 ， 以确定截取区域
  // 在这里我没发现 有 +64333+025450FM-12+000599999V020........N9-00781+
  // 结论， N0000001N9至+这个位置之间是气温， 找他的位置
  // 运行结果 77 加上这10位，结果为87 ， 如果低87为是+不需要 下一个符号+ 之前是5为
  System.out.println(data.indexOf("N0000001N9"));
  
  // 找一条看看
  String fmt = "%s年%d度";
  // 注意:不含92 也就是 这里能娶到-0078 零下7.8的意思, 如果零下78.1冻死人诶~~~
  System.out.println(String.format(fmt, data.substring(15,19), Integer.parseInt(data.substring(87, 92)) ));

  // 好了, 数据如何提取我们已经知道了.
 }

}

开始编写程序来分析最高气温吧.

package org.pcwl;
import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.Map;

/**
 *
 * @author E-mail:[e-mail]
 * 计算最高气温, 本程序分2个部分, 一个部分读取数据,一个部分对数据进行计算,输出结果
 */
public class JavaMaxTemperature {
 
 /** 用于存储读取到的年份和气温数据
  *  一年中有很多天<valueList<Integer>>,
  *  年份是固定的几个<key>
  */
 private static Map<String, List<Integer>> temperatureMap= new HashMap<String, List<Integer>>();
 private static File outDirectory = null;
 private static DataOutputStream dos = null;
 /**
  * @throws IOException
  */
 public static void main(String[] args) throws IOException {
  if(args.length != 2){
   System.out.println("请输入数据来源和数据目标");
  }
  /* 创建目标文件*/
  outDirectory = new File(args[1]);
  File outFile = new File(outDirectory, "part-0000");
  dos = new DataOutputStream(new FileOutputStream(outFile));
  
  /* 读取指定文件夹下的文件 */
  File inDirectory = new File(args[0]);
  for(File inFile : inDirectory.listFiles()){
   readData(inFile);
  }
  
  /* 关闭输出流 */
  dos.close();
  
 }
 /**
  * 读取数据, 把年份作为map的Key, List<Integer>存放每一天的气温数据
  * @param file
  * @throws IOException
  */
 static void readData(File file) throws IOException {
  BufferedReader br = new BufferedReader(new FileReader(file));
  String line = null;
  while(null != (line=br.readLine())){
   String year = line.substring(15, 19);
   int temperature;
   if(line.charAt(87) == '+'){
    temperature = Integer.parseInt(line.substring(88, 92));
   }else{
    temperature = Integer.parseInt(line.substring(87, 92));
   }
   /* 运行程序发现1901结果为9999, 黄金都能融化,显然999是个错误的数据,排除 */
   if(temperature != 9999 ){
    addYearAndTemperature(year, temperature);
   }
  }
  
  out();
 }
 /**
  * 添加年份和气温数据到map中
  * @param year
  * @param temperature
  */
 static void addYearAndTemperature(String year, int temperature){
  List<Integer> list;
  if(temperatureMap.containsKey(year)){
   list = temperatureMap.get(year);
  }else{
   list = new ArrayList<Integer>();
  }
  list.add(temperature);
  temperatureMap.put(year, list);
  
 }
 /**
  * 计算最高气温并且输出
  * @throws IOException
  */
 static void out() throws IOException{
  int max = Integer.MIN_VALUE;
  String year = null;
  for(Iterator<String> it = temperatureMap.keySet().iterator(); it.hasNext();){
   year= it.next();
   List<Integer> temperatures = temperatureMap.get(year);
   for(Integer i : temperatures){
    max = Math.max(max, i);
   }
  }
  dos.writeUTF(year +"\t" + max+"\n");
  
  temperatureMap.clear();
 }
}

src为代码,data为数据