eclipse使用插件远程调试Hadoop

一、伪分布式环境下
伪分布式的配置参考http://blog.csdn.net/dod_jdi/article/details/78024664

1、在服务器上修改 /etc/hostname，设置新的主机名，如hadoop。
在服务器的/etc/hosts文件中添加域名解析：本机ip hadoop。
注意主机名不能是127.0.0.1之类的，否则可能无法正常读取数据。

将伪分布式的配置中core.site.xml设置为0.0.0.0而不是localhost，否则客户端可能无法连接：

    <property>           <name>hadoop.tmp.dir</name>           <value>file:/home/hadoop/myhadoop/tmp</value>           <description>Abase for other temporary directories.</description>      </property>      <property>           <name>fs.defaultFS</name>           <value>hdfs://0.0.0.0:9000</value>      </property>

2、下载hadoop插件http://pan.baidu.com/s/1i3LaXO5 密码: pkqm，版本可以有一定的差异，将下载的插件解压到eclipse的plugin文件夹中。

3、毕竟要在本地执行Hadoop执行相关指令，下载Hadoop解压到本地
http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.7.4.tar.gz，配置环境变量：

HADOOP_HOME ： Hadoop解压路径在path后面添加：;%HADOOP_HOME%\bin

这样在本地命令行执行hadoop命名会出现提示，和java类似。

4、打开eclipse，在windows->view->other中添加hadoop到列表视图。

在Windows->preferences总选择Hadoop的解压路径

在控制台选择设置ip地址和端口

二、分部式环境由于没钱租服务器做实验还是不写流量吧。

三、使用时可以选择建立Map/Reduce Project。

本人在Windows上的eclipse调试Ubuntu上的hadoop时出现了几个比较常见的错误，需要将https://github.com/SweetInk/hadoop-common-2.7.1-bin中的winutils.exe和hadoop.dll文件下载复制到Windows解压处理的hadoop/bin中。版本号不一定要严格对应，运行不出错即可，我的是2.7.4，下载的是2.7.2。

具体使用例可参考：

http://www.cnblogs.com/shitouer/archive/2012/05/29/2522860.html

http://www.cnblogs.com/baixl/p/4154429.html

最后呢，在编译Hadoop项目的时候是需要添加很多库文件的，一般把hadoop-2.7.4\share\hadoop\tools\lib目录下的所有Jar文件添加进去就好了。