Windows下eclipse上安装hadoop插件,编写mapreduce 程序

来源:互联网 发布:cf手游尼泊尔战龙 数据 编辑:程序博客网 时间:2024/05/16 15:40

前言:几经周折 终于搞定了eclipse上对 hadoop 编写的配置,写此博文,给后来者一些帮助,少走弯路。


电脑配置:

虚拟机:vmm 上 centos 6.5  

hadoop: hadoop-2.6.0-cdh5.4.5

Windows: Windows10_x64


配置过程:

1.下载JDK并配置好,下载解压好eclipse

2.编译  hadoop-eclipse-plugin-2.6.0-cdh5.4.5.jar

1)、工具  ant  下载地址:http://ant.apache.org/bindownload.cgi 

    或者 http://download.csdn.net/detail/u014167893/9841700

下载完成,解压到人任意盘,配置好环境变量: 新建:ANT_HOME 

  内容为:D:\apache-ant-1.10.1  

  path添加内容:%ANT_HOME%\bin

  配置完成在cmd中测试一下  ant -version;

如图:

配置信息:


2).下载hadoop2x-eclipse-plugin源代码  下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin

解压到任意盘。

3).将安装的hadoop-2.6.0-cdh5.4.5 

 解压到任意盘,如图:

         

    4).编译 hadoop-eclipse-plugin-2.6.0-cdh5.4.5.jar 

控制台进入刚刚解压的hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录下

     运行:ant jar -Dversion=2.6.0 -Declipse.home=D:\eclipse\JavaWeb\eclipse -Dhadoop.home=D:\hadoop\hadoop-2.6.0-cdh5.4.5

        -Declipse.home=eclipse 的 home目录  -Dhadoop.home=hadoop-2.6.0-cdh5.4.5 的home目录

如图:

如果编译失败,提示文件找不到可以修改配置文件 hadoop2x-eclipse-plugin-master\src\ivy\libraries.properties 如图:


还需要配置hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin\build.xml 将里面的

${hadoop.home} 替换成2.6.0-cdh5.4.5 保存重新编译。

编译好的jar包在hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin目录下。


2.配置eclipse

1).将编译好的 hadoop-eclipse-plugin-2.6.0-cdh5.4.5.jar 放到eclipse的plugin目录下

2).重启eclipse

3).配置hadoop 目录选择解压的hadoop目录

4).配置Map/ReduceLocations

    点击Window-->Show View -->MapReduce Tools  点击Map/ReduceLocation

    点击Map/ReduceLocation选项卡,右击新建hadoop location,打开Hadoop Location配置窗口:

 输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host

和Port配置成hdfs-site.xml与core-site.xml的设置一致即可。

5). 看见如图即表示配置成功:

3.创建项目需要用到的工具 hadoop.dll和

下载地址:链接:http://pan.baidu.com/s/1o8uh2NS 密码:3bqa


4.创建项目课程出现错误 可以参考

                http://blog.csdn.net/u010911997/article/details/44099165/






















0 0