Hadoop那些事儿（二）---MapReduce开发环境搭建

上一篇文章介绍了在ubuntu系统中安装Hadoop的伪分布式环境，这篇文章主要为MapReduce开发环境的搭建流程。

1.HDFS伪分布式配置

使用MapReduce时，如果需要与HDFS建立连接，及使用HDFS中的文件，还需要做一些配置。
首先进入Hadoop的安装目录

cd /usr/local/hadoop/hadoop2
1
1

在HDFS中创建用户目录

./bin/hdfs dfs -mkdir -p /user/hadoop
1
1

创建input目录，并将./etc/hadoop中的xml文件复制到分布式文件系统中

./bin/hdfs dfs -mkdir input ./bin/hdfs dfs -put ./etc/Hadoop/*.xml input
1
2
1
2

复制完成后，可以使用下面命令查看文件列表

./bin/hdfs dfs -ls input
1
1

2.开发环境搭建

1.1 调整虚拟机内存为2G+

1.2 eclipse Linux版本下载
下载地址：http://www.eclipse.org/downloads/packages/eclipse-ide-java-ee-developers/neon2
我下载的文件为：eclipse-jee-neon-2-linux-gtk-x86_64.tar.gz

1.3 为hadoop用户分配opt文件夹的操作权限

sudo chown hadoop /optsudo chmod -R 777 /opt
1
2
1
2

1.4 将下载的文件拷贝到opt文件夹下
1.5 解压(解压后文件夹名为eclipse)

cd /optsudo tar -zxf eclipse-jee-neon-2-linux-gtk-x86_64.tar.gz
1
2
3
1
2
3

1.6 下载eclispe的Hadoop插件(hadoop-eclipse-plugin-2.6.0.jar)
1.7 为hadoop用户分配eclipse文件夹的权限

sudo chown hadoop /opt/eclipsesudo chmod -R 777 /opt/eclipse
1
2
1
2

然后将hadoop-eclipse-plugin-2.6.0.jar拷贝到eclipse的plugins文件夹下
1.8 通过命令行启动eclipse

cd /usr/local/binsudo ln -s /opt/eclipse/eclipse
1
2
1
2

这样设置完成后，以后在命令行中输入eclispe就可启动

eclipse
1
1

注意，选择工作区间一定要选在自己有操作权限的目录下，比如我是/home/hadoop/workspace

1.9 启动eclipse后，window - show view - other中将会有MapReduceTools

1.10 打开MapReduce窗口开始配置文件系统连接，要与/usr/local/hadoop/hadoop2/etc/hadoop/下的core-site.xml的配置保持一致

配置完成后，查看左边的DFS树目录变成了下图：

1.11 确保所有的守护进程都已开启
1.12 window -preference - Hadoop Map/Reduce 选择Hadoop的安装目录，我这里是 /usr/local/hadoop/hadoop2,配置完成后新建的hadoop项目会自动导入需要的jar包
1.13 File - new - Project ,选择Map/Reduce Product 新建一个Map/Reduce项目，然后再src下新建一个package,并新建一个WordCount测试类

package test; import java.io.IOException;  import java.util.StringTokenizer;  import org.apache.hadoop.conf.Configuration;  import org.apache.hadoop.fs.Path;  import org.apache.hadoop.io.IntWritable;  import org.apache.hadoop.io.Text;  import org.apache.hadoop.mapreduce.Job;  import org.apache.hadoop.mapreduce.Mapper;  import org.apache.hadoop.mapreduce.Reducer;  import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  import org.apache.hadoop.util.GenericOptionsParser;  public class WordCount {      //继承mapper接口，设置map的输入类型为<Object,Text>      //输出类型为<Text,IntWritable>      public static class Map extends Mapper<Object,Text,Text,IntWritable>{          //one表示单词出现一次          private static IntWritable one = new IntWritable(1);          //word存储切下的单词          private Text word = new Text();          public void map(Object key,Text value,Context context) throws IOException,InterruptedException{              //对输入的行切词              StringTokenizer st = new StringTokenizer(value.toString());              while(st.hasMoreTokens()){                  word.set(st.nextToken());//切下的单词存入word                  context.write(word, one);              }          }      }      //继承reducer接口，设置reduce的输入类型<Text,IntWritable>      //输出类型为<Text,IntWritable>      public static class Reduce extends Reducer<Text,IntWritable,Text,IntWritable>{          //result记录单词的频数          private static IntWritable result = new IntWritable();          public void reduce(Text key,Iterable<IntWritable> values,Context context) throws IOException,InterruptedException{              int sum = 0;              //对获取的<key,value-list>计算value的和              for(IntWritable val:values){                  sum += val.get();              }              //将频数设置到result              result.set(sum);              //收集结果              context.write(key, result);          }      }      /**      * @param args      */      public static void main(String[] args) throws Exception{          // TODO Auto-generated method stub          Configuration conf = new Configuration();          conf.set("mapred.job.tracker", "localhost:9001");        args = new String[]{"hdfs://localhost:9000/user/hadoop/input/count_in","hdfs://localhost:9000/user/hadoop/output/count_out"};        //检查运行命令          String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs();          if(otherArgs.length != 2){              System.err.println("Usage WordCount <int> <out>");              System.exit(2);          }          //配置作业名          Job job = new Job(conf,"word count");          //配置作业各个类          job.setJarByClass(WordCount.class);          job.setMapperClass(Map.class);          job.setCombinerClass(Reduce.class);          job.setReducerClass(Reduce.class);          job.setOutputKeyClass(Text.class);          job.setOutputValueClass(IntWritable.class);          FileInputFormat.addInputPath(job, new Path(otherArgs[0]));          FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));          System.exit(job.waitForCompletion(true) ? 0 : 1);      }  }  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82

然后将/usr/local/hadoop/hadoop2/etc/hadoop目录下的log4j.properties文件拷贝到src目录下（否则无法在控制台打印日志）

1.14.在input文件夹上右键，创建一个文件夹–count_in,在桌面创建两个文件word1.txt和word2.txt,并写入一些字符串，如：
aaaa
bbbb
cccc
aaaa
然后在count_in文件夹上右键，选择upload file to DFS ,选中word1.txt和word2.txt,将其导入DFS文件系统中
1.15 代码上邮件Run as – Run on Hadoop 运行程序，运行结束后在DFS中的文件夹上右键Refresh，会生产输出文件

输出的内容无误后，MapReduce的开发环境就搭建好了