Hadoop系列之-Hadoop2.7.2的Eclipse插件编译 

2016-08-04 10:05 511人阅读 评论(0) 收藏 举报

 分类：

Hadoop（2） 

版权声明：本文为博主原创文章，未经博主允许不得转载。

提供下编译好的jar包：

http://download.csdn.net/detail/suzhi921/9594598

配置Eclipse：
将jar包拷贝到Eclipse目录下的plugins里

windows--preferences--Hadoop Map/Reduce指向Hadoop安装路径

windows-show view-Mapreduce Tools-Map/Reduce Locations--编辑Hadoop Location

前面的9001是在mapred-site.xml里面配置的

[html] view plain copy

 

1. <configuration>  
2.     <property>  
3.         <name>mapreduce.framework.name</name>  
4.         <value>yarn</value>  
5.     </property>  
6.      <property>  
7.          <name>mapred.job.tracker</name>  
8.          <value>localhost:9001</value>  
9.      </property>  
10. </configuration><strong>  
11. </strong>  

然后新建Map/Reduce Project,完成后将会看到DFS Location，如果展开能看到内容说明成功

配置完后就右键选择项目--Run as --Run on hadoop

1、下载Linux64位Eclipse

http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/neon/R/eclipse-Java-neon-R-linux-gtk-x86_64.tar.gz

2、下载插件源码

https://github.com/winghc/hadoop2x-eclipse-plugin

3、下载ant1.9.7

http://mirrors.tuna.tsinghua.edu.cn/apache//ant/binaries/apache-ant-1.9.7-bin.tar.gz

4、全部解压至/opt

5、下确定java jdk以及ant、hadoop环境变量都已设置

6、配置和编译插件

1.   hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin\build.xml文件中：
1.1. 在<target name="jar" depends="compile" unless="skip.contrib">这个element下，有一堆<copy file=....>的sub-element，将其中 <copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}.jar"  todir="${build.dir}/lib" verbose="true"/> 这个element替换为：
     <copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}-incubating.jar"  todir="${build.dir}/lib" verbose="true"/>
    并添加两个新的element：
    <copy file="${hadoop.home}/share/hadoop/common/lib/servlet-api-${servlet-api.version}.jar"  todir="${build.dir}/lib" verbose="true"/>
    <copy file="${hadoop.home}/share/hadoop/common/lib/commons-io-${commons-io.version}.jar"  todir="${build.dir}/lib" verbose="true"/>
1.2. 在<jar jarfile="${build.dir}/hadoop-${name}-${hadoop.version}.jar" manifest="${root}/META-INF/MANIFEST.MF">这个element的attribute子element中，为Bundle-ClassPath的值列表中添加：
     lib/servlet-api-${servlet-api.version}.jar,
     lib/commons-io-${commons-io.version}.jar,
         并将lib/htrace-core-${htrace.version}.jar替换为lib/htrace-core-${htrace.version}-incubating.jar
         
2. hadoop2x-eclipse-plugin-master\src\ivy\libraries.properties文件中，更改下列属性和其值使其对应hadoop2.7.2和当前环境的jar包版本：
     hadoop.version=2.7.2
     apacheant.version=1.9.7
     commons-collections.version=3.2.2
     commons-httpclient.version=3.1
     commons-logging.version=1.1.3
     commons-io.version=2.4
     slf4j-api.version=1.7.10
     slf4j-log4j12.version=1.7.10
3. hadoop2x-eclipse-plugin-master\ivy\libraries.properties文件中，属性和值的修改同上面的2.。另外需要增加一个修改：
     htrace.version=3.1.0
         
编译插件：
进入包括上面配置修改的插件源代码hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin目录，运行如下ant命令进行编译：
ant jar -Dversion=2.7.2 -Declipse.home=<Eclipse_inst_dir> -Dhadoop.home=<hadoop_inst_dir>
其中<Eclipse_inst_dir>为Eclipse的安装目录，<hadoop_inst_dir>为hadoop-2.7.2的安装目录。
其实真正编译的过程还是很快的，主要是ivy下载的时间比较长，占用了整个编译运行的大部分时间，所以要耐心等待。
编译成功完成后，在hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin目录下就能看到新生成的hadoop-eclipse-plugin-2.7.2.jar包了，这个就是我们需要的插件。只要把它拷贝到Eclipse安装目录下的plugins目录下，启动Eclipse，就能准备在Eclipse下进行mapreduce程序的开发运行了