hadoop的统计单词程序WordCount

hadoop 是用 java 的实现的一个分布式系统框架，最主要的两个部分可能就是 MapReduce 和 HDFS 了，前者是个编程模型，后者是存储模型。算了，不多说了，拣重点。WordCount 是 MapReduce 的经典程序， Hadoop 官网有这个程序，现在 me 们就是要跑通这个程序。当然首先的第一步就是安装 Hadoop，这一点，本篇不多做介绍。其次，就是按照指定的步骤去执行就好，不过中途会出一些问题，这是本篇要介绍的重点。

假定 hadoop 已经安装了，of course JAVA 也安装了，然后按照下面的执行，应该就可以跑通程序了。

1. $ vim WordCount.java : 编辑 WordCount.java 文件，文件内容可以看后面的代码；
2. $ vim input.txt : 编辑输入文件 input.txt，内容随便了，现在程序就是要统计单词数；
3. $ mkdir class : 创建一个放 class 文件的目录；
4. $ javac -classpath /opt/hadoop/hadoop/hadoop-core-1.2.1.jar -d class WordCount.java : 编译 WordCount 源文件，class 文件放在 class 目录下；
5. $ jar -cvf wordcount.jar -C class . : 将程序打包；
6. $ hadoop jar wordcount.jar test.WordCount file:///home/hadoop/input.txt /tmp/output : 运行程序，file:/// 可以指定本地的文件作为输入文件， /tmp/output 是 HDFS 路径，存放输出结果；
7. $ hadoop fs -cat /tmp/output/part-r-00000 : 查看程序的结果；

如果是第一次按照上面的步骤执行，应该没有神马太大问题，不过不是第一次，或是程序 me 们有改动的话，上面的执行可能就要稍微变一下了，下面记录三个可能出现的问题，以及解决方案：

• Exception in thread "main" java.lang.ClassNotFoundException: WordCount : 执行 WordCount 程序，也就是上面的第 6 步，需要添加 test 包名限制；
• java.lang.ClassNotFoundException: test.WordCount$Map : 执行 WordCount 程序，抛出找不到 WordCount$Map 的异常，实际上该类和 WordCount.class 是在同一个文件夹下丫；官网的 hadoop 程序没有上面代码的有注释的那一行，就会抛出这个异常，加上去就可以了；
• Output path already exists : Output director : 这个易理解，就是输出文件夹 /tmp/output 已经存在，可以指定一个其他的，或是删除该文件夹 $ hadoop fs -rmr /tmp/output；

程序代码

1. package test;
2.        
3. import java.io.IOException;
4. import java.util.*;
5.        
6. import org.apache.hadoop.fs.Path;
7. import org.apache.hadoop.conf.*;
8. import org.apache.hadoop.io.*;
9. import org.apache.hadoop.mapreduce.*;
10. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
11. import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
12. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
13. import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
14.        
15. public class WordCount{
16.     public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
17.         private final static IntWritable one = new IntWritable(1);
18.         private Text word = new Text();
19.        
20.         public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
21.             String line = value.toString();
22.             StringTokenizer tokenizer = new StringTokenizer(line);
23.             while (tokenizer.hasMoreTokens()) {
24.                 word.set(tokenizer.nextToken());
25.                 context.write(word, one);
26.             }
27.         }
28.     }
29.        
30.     public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {
31.         public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
32.             int sum = 0;
33.             for (IntWritable val : values) {
34.                 sum += val.get();
35.             }
36.             context.write(key, new IntWritable(sum));
37.         }
38.     }
39.        
40.     public static void main(String[] args) throws Exception {
41.         Configuration conf = new Configuration();
42.        
43.         Job job = new Job(conf, "wordcount");
44.    
45.         job.setJarByClass(WordCount.class);    // +++++
46.         job.setOutputKeyClass(Text.class);
47.         job.setOutputValueClass(IntWritable.class);
48.        
49.         job.setMapperClass(Map.class);
50.         job.setReducerClass(Reduce.class);
51.        
52.         job.setInputFormatClass(TextInputFormat.class);
53.         job.setOutputFormatClass(TextOutputFormat.class);
54.        
55.         FileInputFormat.addInputPath(job, new Path(args[0]));
56.         FileOutputFormat.setOutputPath(job, new Path(args[1]));
57.        
58.         job.waitForCompletion(true);
59.     }    
60. }