Windows 7/10 myeclipse hadoop2.7.1 连接和操作

网站基本都是hadoop2.2，基本找不到最新版的配置。原来配置过，但是由于换系统或七七八八的原因又得从新配置。花了大半天，最后还是成功了。希望能帮助到大家，直接真格...

Background：当然你得装好hadoop集群，我的是在HA下的hadoop2.7.1，6台机器

Windows 10 64-bit

先来个Myeclipse连接HDFS

1.将hadoop-eclipse-plugin-2.7.1.jar文件放到Eclipse的dropins目录下，重启Eclipse即可看到该插件已生效。
如果不生效hadoop-eclipse-plugin-2.7.1.jar文件放到Eclipse的plugins里试试


2. 打开Window -> Preference -> Hadoop Map/Reduce，配置右面的"Hadoop installation directory"项，指向hadoop安装目录。注意：直接将hadoop安装包拷贝到当前系统的某个目录下，解压即可。


3. Window -> Open Perspective -> Other -> Map/Reduce


4.在窗口下面的Map/Reduce Location新建一个连接。location name随便填入，host填写hadoop集群的master所在的IP或者hostname（如果在hosts文件里做过映射的话）（是Namenode的IP地址或hostname，注意如果是多个NameNode，要写active的那个，不是standby的那个），第一个Port填写mapred-site.xml里定义的端口，我的是9000，第二个Port填写里core-site.xml定义的端口，我的还是9000。填写完重启eclipse。

PS：注意一定是要hadoop集群已经启动的状态。这个过程比较简单，按照网上其他大神post的博文也可以。

Myeclipse调试运行MapReduce程序

1.建立一个MapReduce项目WordCount

File-> New->Project->Map/Reduce Project

Next

Configure Hadoop install directory选本地解压的hadoop文件夹

2. 建WordCount.java

src下建一个org.apache.hadoop.examples包，把官方给的WordCount.java拷贝进去。把该用的jar拷贝进来，并且变成奶瓶。

a. 在HDFS上建立文件夹/user/input然后上传文件到HDFS

hadoop代码：

hadoop fs -mkdir /user

hadoop fs -mkdir /user/input

hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/input/(当然第一个文件路径得按照你自己的改改)

3. 运行一下。 

Run as->Run Configurations 然后按照下面的设置 

###必须报错

把winutils.exe放到HADOOP_HOME所指定的文件夹里的bin里（什么，没有环境变量！自己配去！hadoop环境变量指向hadoop解压后的文件夹）

把hadoop.dll放到C:\Windows\System32里

###还有错

atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:609)

在src下建org.apache.hadoop.io.nativeio然后把NativeIO.java文件放进去

把return access0(path, desiredAccess.accessRight());注释掉改成 return true;

再按照上面的步骤执行一下，应该就没什么问题了！如果再有问题自行百歌！仔细检查配置，应该就没什么问题了。我把需要的文件或工具都打包好了，需要的可以下载...

Includes：

hadoop.dll

NativeIO.java

winutils.exe

WordCount.java

Windows 7 or 10 eclipse hadoop2.7.1 配置所需文件和工具.rar