hadoop64位编译及开发环境搭建（三）

来源：互联网发布：云计算的产业园区编辑：程序博客网时间：2024/05/16 08:53

上次hadoop集群已经搭建完成，并奔跑正常，下面我们就该用eclipse连接这个集群了，方便开发程序。

到https://github.com/winghc/hadoop2x-eclipse-plugin ，直接下载发布的最新版，2.4.1

把插件放到eclipse的plugins目录里面，重启eclipse。

在eclipse 的右上角输入map就会看到有 map/reduce Locations

打开map/reduce Locations ，右键，New hadoop location...

Laction Name 随便起个名字

把master的ip地址和端口填写清楚，然后finish。

切换到 Map/Reduce 视图在最上面就会看见 hadoop的文件系统了

如果没有配置错误的话，应该会在这里出现hadoop的文件系统，但是我的文件夹一直显示0个

尝试上传一个文件，发现是权限不够，应该是我用window8访问hadoop集群导致权重不够

后来在 hdsf-site.xml 里面增加一个配置

<property>        <name>dfs.permissions</name>        <value>false</value>    </property>

这样就不限制权重了

重新启动集群，重新连接，刷新，尝试新建testdata文件夹，还是显示0

刷新，居然有了，给这个文件夹上传文件，成功。

刷新下目录，就看到了

在 master上 hadoop fs -ls -R /

[hadoop@master hadoop]$ hadoop fs -ls -R /drwxr-xr-x   - Administrator supergroup          0 2014-12-03 15:05 /testdata-rw-r--r--   3 Administrator supergroup  593494016 2014-12-03 14:33 /testdata/CentOS-7.0-1406-x86_64-Minimal.iso-rw-r--r--   3 Administrator supergroup    2401901 2014-12-03 15:05 /testdata/protobuf-2.5.0.tar.gz

从网上随便找个mapRaduce程序跑下试试

0 0