使用maven构建hadoop2.6的eclipse源码

来源:互联网 发布:外贸注册.org域名 编辑:程序博客网 时间:2024/06/04 18:15

一.工具准备

1.maven bin包,题主这里是apache-maven-3.3.3-bin.zip(官网自行查找)

2.jdk,题主这里是jdk1.7..(小版本忽略)

3.protoc,题主这里是protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip 两个包

4.hadoop源码,题主这里是hadoop-2.6.0-src.tar.gz

二.工具安装

1.maven安装(自行百度windows下maven安装配置)

2.protoc安装

(1)将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中。

(2)将proto.exe文件拷贝到解压后的XXX\protobuf-2.5.0\src目录中.

(3)进入XXX\protobuf-2.4.1\java 目录  执行maven package命令编辑该包 生成protobuf-java-2.5.0.jar文件(位于target目录中)。

(4)maven package

(5)protoc --version

(6)显示 libprotoc 2.5.0

3.通过maven下载源码

(1)进入hadoop-2.6.0-src\hadoop-maven-plugins,运行mvn install,如果看到结果是 BUILD SUCCESS的话 代表打包成功了

(2)进入D:\hadoop2\hadoop-2.6.0-src目录下,执行mvn eclipse:eclipse -DskipTests,如果看到结果是BUILD SUCCESS的话 代表打包成功了

(完成以上俩步就可以将hadoop-2.6.0-src当成eclipse的项目导入了)

三.项目源码错误解决

1.第一个问题,hadoop-common-project\hadoop-common\src\test\avro的问题

(1)cd D:\hadoop2\hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\test\avro

(2)java -jar D:\hadoop2\hadoop-2.6.0-src\hadoop-common-project\avro-tools-1.7.7.jar compile schema avroRecord.avsc ../java

(3)右键单击eclipse中的hadoop-common项目,然后refresh。

2.第二个问题,hadoop-common-project\hadoop-common\src\test\proto的问题

(1)cd D:\hadoop2\hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\test\proto

(2)protoc --java_out=../java *.proto

3.第三个问题,hadoop-streaming项目包缺失

(1)在eclipse中,右键单击hadoop-streaming项目,选择“Properties”,左侧栏选择Java Build Path,然后右边选择Source标签页,注意出错的那个路径(先不要删除)。

(2)点击“Link Source按钮”,选择被链接的目录为“<你的源代码根目录>/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf”,链接名可以使用显示的(也可以随便取);

(3)inclusion patterns中添加capacity-scheduler.xml,exclusion patters中添加**/*.java,这个信息与出错的那项一样;完毕后将出错的项删除。刷新hadoop-streaming项目。



本文有参考至:http://blog.csdn.net/u011007180/article/details/52589391

0 0
原创粉丝点击