Windows上Eclipse远程调用Hadoop2.6.0

接着上一章节继续实践

一：下载eclipse，并解压安装（就不再多说了）

我这里装在F:\eclipse-4.5.1

二：下载 Hadoop2.6.0 包到本Windows上，并解压到F盘（这里你自己指定位置）

我这里装在F:\apache-hadoop-2.6.0

三：下载插件：hadoop-eclipse-plugin-2.6.0.jar,并安装到eclipse中
               1、目前这个插件还在开发中，你可以自己下载源码编译，网上也有人发布编译好的jar。源码地址：   https://github.com/winghc/hadoop2x-eclipse-plugin
           2、把下载好的jar，复制到 F:\eclipse\plugins\ 目录下，然后重启eclipse

四：在Eclipse中配置，测试DFS访问远程hadoop集群目录

         1、指定Windows上的hadoop根目录（即：$HADOOP_HOME）
                windows --> preferences--> hadoop map/reduce 
         

2、打开eclipse窗口，切换到map/reduce视图
          windows --> show view --> other 

        3、添加一个map/reduce Location，并配置信息

4、点击Finish配置完成

5. 此时刷新一下DFS，既可以看到你远程hadoop集群上的文件夹了

五：创建HelloWord项目

File --> New--> Other --> MAP/Reduce Project  --> Next

输入项目名称，检查没问题，就下一步下一步，完成ok。创建完成后会自动引用很多hadoop需要用到的jar，这里不用去管他。

接着创建WordCount程序：

package com.wordcount;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser;public class WordCount {public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {private final static IntWritable one = new IntWritable(1);private Text word = new Text();public void map(Object key, Text value, Context context) throws IOException, InterruptedException {StringTokenizer itr = new StringTokenizer(value.toString());while (itr.hasMoreTokens()) {word.set(itr.nextToken());context.write(word, one);}}}public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {private IntWritable result = new IntWritable();public void reduce(Text key, Iterable<IntWritable> values, Context context)throws IOException, InterruptedException {int sum = 0;for (IntWritable val : values) {sum += val.get();}result.set(sum);context.write(key, result);}}public static void main(String[] args) throws Exception {Configuration conf = new Configuration();Job job = Job.getInstance(conf, "word count");job.setJarByClass(WordCount.class);job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(IntSumReducer.class);job.setReducerClass(IntSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.addInputPath(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));System.exit(job.waitForCompletion(true) ? 0 : 1);}}

右键-->Run As-->Run Configurations，配置好信息以后，点击运行

查看结果：

七：可能遇到的错误分析：

1、在DFS Lcation 上不能远程访问文件及操作：

这里报错，说没有权限的问题。你需要把hadoop集群中master机子上的hdfs-site.xml文件中添加：

<property><name>dfs.permissions</name><value>false</value></property>

2、log4j问题（这个问题最好处理一下，不然hadoop的有一些错误信息打印不出来）

只需在src文件下创建log4j.properties文件

3、Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not set.

说明你的输出目录重复，先删除，再运行。

3、java.io.IOException: Could not locateexecutable null/bin/winutils.exe in the Hadoop binaries.

这个问题是因为hadoop2.6.0在Windows上运行时却少几个文件，需要自己添加一下。

3.1、首先下载hadoop-native-64-2.6.0.tar，解压以后把里面的所有文件拷贝到F:\apache-hadoop-2.6.0\hadoop-2.6.0\bin(你的hadoop目录)

3.2、在把hadoop.dll文件拷贝到C:\Windows\System32目录下

3.3、配置hadoop的环境变量，新建HADOOP_PATH=F:\apache-hadoop-2.6.0\hadoop-2.6.0  然后在Path的最前面添加%HADOOP_HOME%\bin; ，保存退出。修改环境变量需重启电脑才能生效，也可不重启，但需在代码中插入一行，即

public static void main(String[] args) throws Exception {System.setProperty("hadoop.home.dir", "F:/apache-hadoop-2.6.0/hadoop-2.6.0");Configuration conf = new Configuration();Job job = Job.getInstance(conf, "word count");job.setJarByClass(WordCount.class);job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(IntSumReducer.class);job.setReducerClass(IntSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.addInputPath(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));System.exit(job.waitForCompletion(true) ? 0 : 1);}

鄙人才疏学浅，若有错误之处，还望指点！