ubuntu 15.04下使用Eclipse搭建Hadoop开发环境

来源:互联网 发布:sql语句别名 编辑:程序博客网 时间:2024/04/27 14:39

1、前期准备:已经安装好了jdk、hadoop、eclipse.如果有问题,参考:
http://blog.csdn.net/a1b2c3d4123456/article/details/49181021
http://blog.csdn.net/a1b2c3d4123456/article/details/49203237

2、下载 hadoop-eclipse-plugin-1.2.1.jar。然后把jar包放到eclipse/plugins文件目录下。重启eclipse,会看到,工作界面多了个图标
这里写图片描述
左侧“Project Explorer”下面发现“DFS Locations”,说明Eclipse已经识别刚才放入的Hadoop Eclipse插件了。

3、把工作目录切换到map/reduce
选择“Window”菜单下选择“Open Perspective–>Other”,弹出一个窗体,从中选择“Map/Reduce”选项即可进行切换。

4、配置DFS Locations
在Eclipse软件下面的“Map/Reduce Locations”择“New Hadoop Location ”跳出界面如下:
这里写图片描述
名字随便起,这里的端口号都是你之前在设置Hadoop的那。
把use M/R Master host 勾选。finish退出。
看到如下目录:
这里写图片描述

到此,配置完成。
5 可以在hdfs里面新建文件夹,然后就可以把需要处理的文件放到这个文件夹。

bin/hadoop dfs -mkdir test
0 0
原创粉丝点击