Eclipse中使用Hadoop集群模式开发配置及简单程序示例（Windows下）

一、JDK安装、Hadoop的安装及集群模式配置（Linux虚拟机上集群的安装配置）

具体详见博客：Hadoop完全分布式集群安装及配置（基于虚拟机）
由于在使用hadoop-2.8.0配置的时候，hdfs总是出现错误，使用了各种方法也没能解决，所以这里使用hadoop-2.7.3

二、Eclipse、Hadoop安装（Win下）

1、Eclipse使用的是eclipse-jee-neon-3-win32-x86_64版本，下载链接：http://pan.baidu.com/s/1i5Kdf1b 密码：0r72，不需要安装直接解压即可，我这里解压之后的eclipse目录是E:\Eclipse2\eclipse。
2、Hadoop-2.7.3在windows下不需要安装，解压即可，解压目录为：E:\Hadoop\hadoop-2.7.3

三、Eclipse配置

1、下载hadoop-2.8.0的eclipse插件：hadoop-eclipse-plugin-2.7.3.jar （下载链接：http://pan.baidu.com/s/1slHeY6L 密码：6yxn），将下载的hadoop-eclipse-plugin-2.7.3.jar文件放到Eclipse的plugins文件夹下，即放在E:\Eclipse2\eclipse\plugins\下，重启eclipse即可看到该插件生效，如图：

2、设置hadoop开发模式
（1）点击“Window –> Preferences –> Hadoop Map/Reduce”选择Hadoop安装目录，点击“Apply”和“Apply and Close”，如图：

（2）点击“Window –> Perspective –> Open Perspective –> Other –> Map/Reduce”，如下图：

（3）点击“Window –> Show View –> Other –> Map/Reduce Locations”，如图：

3、添加必要的文件：
（1）在https://github.com/SweetInk/hadoop-common-2.7.1-bin中下载winutils.exe,libwinutils.lib 拷贝到%HADOOP_HOME%\bin目录
（2）在https://github.com/SweetInk/hadoop-common-2.7.1-bin中下载hadoop.dll，并拷贝到c:\windows\system32目录中。
注意：若不添加会出现错误(null) entry in command string: null chmod 0700，参见原博客：https://ask.hellobi.com/blog/jack/5063

四、添加Hadoop Location

经过上述步骤之后，控制台如下：

点击**处的大象标志“New Hadoop Location ”,配置如右图所示：

五、简单示例（代码、运行配置、结果）

代码、运行步骤和Eclipse中使用Hadoop单机模式开发配置及简单程序示例（Linux下）相同，但是Program arguments应该设置hdfs的目录，如下：

最后，运行完毕之后，Eclipse中的DFS Locations视图如下：