Hadoop入门系列(3) -- Eclipse+Hadoop开发环境搭建

---

Eclipse的Hadoop插件

Hadoop的安装包中包含elipse-plugin的源码，在src/contrib/eclipse-pluging目录下，我们可以自己编译生成插件，也可以使用网上别人编译好的
Eclipse的Hadoop插件 hadoop-eclipse-plugin-1.2.1.jar，放在eclipse的”plugins”目录下，重启Eclipse就可以生效。

---

配置eclipse

安装包插件后，就可以在Preferences中的”Hadoop Map/Reduce” 中配置Hadoop的解压路径

---

通过插件连接HDFS

使用插件可以在Eclipse上远程连接HDFS，也可以远程调试。由于1.2.1的插件远程调试会报用户权限的问题。所以，我们这里只配置能远程访问HDFS，远程调试需要自己修改插件源码，请另行查找资料。

安装完插件后，就会在Project Explorer中显示一个”DFS Location”。

我们只要配置好DFS，就可以在这里远程访问DFS中的内容了。首先在
Window->Show view->Other中，查找”mapreduce”:

这个view显示出来后，默认是空的。这里点击右键，添加一个location，

配置如下：

这里配置的mr和dfs的master的地址和core-site.xml中的设置一致，dfs的地址使用和mr一致的地址

接着，还要在location的高级里面设置tmpdir，tmpdir的地址也是core-site.xml中的设置一致:

---

创建MapReduce工程

使用Hadoop插件可以创建一个MapReduce工程，它会自动添加Hadoop的依赖jar包。下面我们来创建一个MapReduce工程:

接着我们打开Hadoop安装目录下的src目录，把src/examples/org目录拷贝到我们新工程的src目录下，可以看到wordcount等一些mapreduce的例子。

这里我们把样例工程中的wordcount导出成jar包，在我们新建的工程上，右建选择export:

选择导出为jar包

选择要导出的jar包目录和java文件，并点击完成

成功后就会在桌面产生jar文件，把这个文件传到hadoop的master上。

上传数据到hdfs

mkdir inputecho "hello world" > input/file1echo "hello hadoop mapreduce" > input/file2hadoop fs -put input

并运行hadoop应用

hadoop jar hadoop-example.jar wordcount input output

---

Maven

如果开发较大的工程，可能需要依赖很多包，可以使用maven来自动进行依赖jar包的管理。安装方法见网上博客:

http://blog.fens.me/hadoop-maven-eclipse/