eclipse 连接 cdh5.5 插件

来源:互联网 发布:淘宝店铺流失商品 编辑:程序博客网 时间:2024/05/28 14:57

CDH 所用Eclipse 插件,与 hadoop 插件一样。 

CDH 5.5 对应的 (apache)hadoop-2.6。


首先下载 hadoop Eclipse 插件。

    下载地址: https://github.com/winghc/hadoop2x-eclipse-plugin


安装 Eclipse 插件

    复制 release/hadoop-eclipse-plugin-2.6.0.jar 到   eclipse_home/dropins下面, 

    并删除 eclipse_home/configuration/org.eclipse.update  文件夹,重启eclipse。


配置 Eclipse 插件

    点击: Window -> Show View -> Other ,搜索 Map/Reduce, 打开 Map/Reduce Locations 视图。

    在该视图下执行: 右键 -> New Hadoop location。配置如下


    点击 finish 保存


修改HDFS文件权限

    点击: Perspective -> Open Perspective -> Other

    打开 Map/Reduce 工作视图, 这时我们可以打开某个目录的最底层,可能会有如下错误


    这个的原因是因为 hdfs 文件权限的问题。

    进入 CDH 管理界面,打开 hdfs的配置界面,取消勾选 dfs.permissions。


    保存更改,然后进入到主界面,此时 HDFS 会提示重启。


    重启集群,配置完毕。


上传文件测试

    右键 Reconnect,此时可以查看HDFS 里面的所有文件。这里要注意, 权限大了意味着责任就大,因此安全方面一定要注意。

    很多文件夹,诸如hbase 等,是 hbase 的系统文件夹,删除之后,会对 hbase 造成影响。因此,除非是你自己特别清楚的文件夹,否则其他文件夹不要做任何改动。

    我们新建一个我们自己的文件夹用来测试。

    点击: 右键 -> Create new directory, 输入 userDataFolder,尽量选择一些不会是系统默认的文件名。以后我们自己的文件全都放到改文件夹下,

    然后:右键 -> Refresh, 此时可以看到我们的文件夹。

    上传有两个选项: 顾名思义,一个是上传文件,一个是上传文件夹。

    执行: 右键 -> upload... ,刷新,可以看到我们上传的文件







0 0
原创粉丝点击