eclipse远程调试hadoop程序

最开始是打算用IDEA连接hadoop的，无奈没有弄出来，正在研究中。后来发现用eclipse连接比较简单就换eclipse了。

网上的博客很多。。。但按网上调试的总有问题。经过一番摸索与百度，终于弄出来了，在这里写个博客，让跟我一样的菜鸟少走一点弯路。

在linux上打jar包运行太麻烦了，而且由于我比较菜，一个程序要改几次才能弄好，就更麻烦了。好了。正题如下。

最开始下的eclipse最新版，但是要求JDK1.8才能安装，按照网上说的linux与windows的jdk最好一个版本。所有我就想下一个eclipse老版本，但是又不知道下哪一个版本。

后来看网上说的3.7.2比较稳定而且占用系统资源比较小，我就下了这个版本，还好能用。。。

附上下载地址 http://www.eclipse.org/downloads/packages/release/indigo/sr2选择Eclipse Classic 3.7.2旁边的windows 64bit点击下载。然后安装。

1.准备工作：首先在Windows下C:\Windows\System32\drivers\etc的hosts文件下新加一行
192.168.132.104 master 

对应你namenode的ip和对应的主机名，我这里是master。

在windows下打开浏览器输入master：50070如果显示出页面，说明修改成功。
下载winutils.exe（对应于hadoop-2.6.0版本），将其加入windos的PATH环境变量中，例如我这里是将
先解压hadoop-2.6.0到F盘，然后将winutils.exe复制到hadoop-2.6.0的bin目录下
在Windows环境变量设置中新增HADOOP_HOME,然后在PATH中加入一行$HADOOP_HOME/bin。

2.下载hadoop-eclipse-plugin-2.6.0.jar并将其移动到eclipse安装目录下的plugin文件夹中。

3.启动eclipse，如果之前启动了那么在移动jar文件后重启eclipse。下面的操作都是在eclipse上。

3.1打开Window-->Preferens，可以看到Hadoop Map/Reduc选项

点击Hadoop Map/Reduc然后输入你解压hadoop-2.6.0在windows本地的路径。

3.2点击Window-->Show View -->other –>MapReduce Tools –>Map/ReduceLocation
在弹出来的页面黄色小象下面空白处右键单击然后点击New hadoop location，打开Hadoop Location配置窗口

输入Location Name，任意名称即可

Host填你namenode的主机名称，如果windows下没配DNS解析，那么这里填你对应的IP。

Map/Reduce Master中port 填9001， 与Hadoop配置文件yarn-site.xml 的yarn.resourcemanager.resource-tracker.address 的端口一致
DFS Masterport 填9000，与Hadoop配置文件core-site.xml中fs.defaultFS 的端口号一致。
配置完后点击下面的Finsh。

然后点击小象旁边的最小化。

如果配置正确。会出现如下界面

在蓝色小象的下边可以查看你的HDFS上的文件。

接下来我们来实现第一个hadoop项目
1点击eclipse左上角的file -》new--》other--》map/reduceproject会出现如下界面

给你的项目起个名字然后点击Finish。然后出现如下界面。

然后在wordcount目录下的src目录新建java class。

把你的代码放上去。然后进行运行前的工作。

用ftp工具将linux上的hadoop-2.6.0/etc/hadoop/2个文件复制到本地

然后复制后在src目录下点击paste。

最后还要导入2个jar包。hadoop-mapreduce-client-core-2.6.0-cdh5.4.1.jar，hadoop-mapreduce-client-common-2.2.0.jar

jar包路径如下：F:\work-space\hadoop-2.6.0-cdh5.4.1\share\hadoop\mapreduce2

最后在linux上的namenode机器上修改etc/hadoop/hdfs-site.xml增加

<property>     

   <name>dfs.permissions</name> 

   <value>false</value> 

</property>  

然后重启hadoop和eclipse。

最后运行java文件选择run on hadoop。

选择你配置好了的server。点击Finish，程序成功运行。

新手上路，多多指教！