从零搭建Hadoop集群 二

来源:互联网 发布:书籍封面设计软件 编辑:程序博客网 时间:2024/04/30 11:30

接上篇,本篇需要的是来将Eclipse连接到Hadoop服务器上。首先下载一个Eclipse,我下载的是最新的免安装版本OXYGEN,免安装版的下载链接按照如下方法进入:
1. 进入Eclipse官网,拉到最下面,点IDE and Tools:
down1
2. 在新的页面点击Java EE:
Down2
3. 点右边的下载链接即可:
down3

下载完后将压缩包拷贝到bigdata-master机器里,解压。

然后去下载一个hadoop的Eclipse插件,官方网站我也不知道在哪儿下,随便帖一个CSDN的资源好了,测试可用,下载链接点击我

这个插件下载下来后注意不是放到Plugin目录,而是放到dropins目录下,切记切记。

Windows -> Preferences -> Hadoop Map/Reduce 配置一下Hadoop安装路径。

Windows -> Perspective -> Open Perspective -> Other -> Map/Reduce
点击后就会出现如下配置界面,在Map/Reduce Locations窗口里点击右键,选择New Hadoop Location:
config1
在General里配置IP及端口。Location name可以随意起,Map/Reduce Master的Port默认是50070, DFS Master的端口就是上文里配置的9000端口。注意默认的Host都是Localhost,我的虚拟机原因不明的连不上,所以我改成了固定的bigdata-master的IP地址>_<,懒得查了。
config1
配置好后点击右下的Finish,如果没有问题就可以看到左边的Project Explorer里刷新出HDFS里的文件了,可以看到我们在上文中做实验用的文件和结果都在里面 ^_^:
succ

这个时候就可以新建Map/Reduce的Project了:
File -> New -> Other -> MepReduce project
Project页面里记得配置下Hadoop的安装目录:
NewProject

到这里就可以愉快的用Java来写MapReduce的代码了。
Java不是我吃饭的家伙,写起来有点头大啊。。。当C用好了 >_<

原创粉丝点击