windows下远程连接hadoop开发实践及问题解决

环境搭建可参考：win10下使用eclipse开发hadoop环境搭建

 

本文对于在windows下使用eclipse远程连接hadoop进行开发的所遇到的问题进行了总结，并给出了相应的解决方案，以此为记，也希望能对有相同问题的后来者有所帮助。

 

使用反编译工具，反编译hadoop所给的统计单词数的示例程序hadoop-examples.jar，代码如下：

package mrtest;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser;public class WordCount {public static void main(String[] args) throws Exception {Configuration conf = new Configuration();String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();if (otherArgs.length != 2) {System.err.println("Usage: wordcount <in> <out>");System.exit(2);}Job job = Job.getInstance(conf, WordCount.class.getSimpleName());job.setJarByClass(WordCount.class);job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(IntSumReducer.class);job.setReducerClass(IntSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.addInputPath(job, new Path(otherArgs[0]));FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));System.exit(job.waitForCompletion(true) ? 0 : 1);}static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {private IntWritable result = new IntWritable();public void reduce(Text key, Iterable<IntWritable> values,Reducer<Text, IntWritable, Text, IntWritable>.Context context)throws IOException, InterruptedException {int sum = 0;for (IntWritable val : values) {sum += val.get();}this.result.set(sum);context.write(key, this.result);}}static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {private static final IntWritable one = new IntWritable(1);private Text word = new Text();public void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context)throws IOException, InterruptedException {StringTokenizer itr = new StringTokenizer(value.toString());while (itr.hasMoreTokens()) {this.word.set(itr.nextToken());context.write(this.word, one);}}}}

在hadoop上运行该程序前先填写运行的配置参数：右键-》Run As-》Run Configurations-》Arguments；在Program arguments里填入输入输出目录：

hdfs://master:8020/usr/hadoop/wordCount/input

hdfs://master:8020/usr/hadoop/wordCount/output

如下图所示。

注意：根据自己实际情况填写，地址端口不对，都会报拒绝连接的异常，切记。在输入目录下上传自己需要处理的文件，譬如xxx.txt等。输出目录不能有，hadoop会自动生成，否则会报已存在。

 

上述步骤正确可以运行程序了，有可能会遇到以下两个主要异常，没有异常的略过。

 

（1）

Exception in thread “main”java.lang.NullPointerException

解决办法：此异常是windows下运行hadoop程序需要插件，下载以下几个插件：

点此下载hadoop_dll2.6.0

 

将下载的插件放入本地hadoop安装目录的bin文件夹下，并将%hadoop_home%/bin添加进入环境变量，重启电脑，再次运行程序，将发现该异常已经消失。

备注：如果还不行，将hadoop.dll放入C:\Windows\System32目录下，重启电脑测试。

 

（2）

Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

点击异常查看NativeIO.java:557行，如下：

在windows下又访问检测，我们只需要将557行改为  return true;  即可。

下载hadoop源码，解压，在路径   hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio 下找到  NativeIO.java  文件，按照上述修改557行为返回 true 。

在项目的根目录下添加包名：org.apache.hadoop.io.nativeio，并将修改后的文件复制到该包下。如图所示：

至此，该异常解决。

 

祝顺利。

附：所需资源下载

hadoop2.6.0源码和eclipse插件

windows下hadoop2.6.0远程开发所用插件