大数据 (九)Hadoop-使用eclipe插件操作HDFS

来源:互联网 发布:win10网络时间同步 编辑:程序博客网 时间:2024/06/08 18:29

        通过之前对HDFS、MapReduce的学习,我们了解到Hadoop也是需要编程的。那么使用java的我就产生了一个需求,在eclipse中对hadoop数据进行上传下载,以便于为进行测试。

一、下载插件包

        我这里使用的是eclipse luna版本,在网上下载eclipse相应插件包。我下的是hadoop-eclipse-plugin-2.5.1.jar。如下图

       

二、安装插件

        将这个插件包拷贝至eclipse安装目录的plugin目录下,启动eclipse

三、配置  使用插件

        eclipse打开后点击菜单  window--show view --others,会看到多出如下选项则说明插件安装成功

     

        双击后,出现下图的框

       

        点击后,如下图所示

       

        配置完成后,点击Finished。之后我们会看见如下结果

    

        点击Map Reduce视图后,会看见左侧Project Explorer多出如下。

       

        但是我们发现,我们打不开,那是因为我们在windows上登录hadoop默认是被拒绝的,只需要在hadoop安装目录下/etc/hdoop/hdfs-site.xml文件中加入如下配置即可

<property>        <name>dfs.permissions</name>        <value>false</value>    </property>
       注意要将这个配置更新至hadoop各个节点主机中,之后重启hadoop。

       接下来再次双击打开DFS Locations会看到如下结果

    

       

阅读全文
0 0