使用maven构建hadoop2.6的eclipse源码
来源:互联网 发布:外贸注册.org域名 编辑:程序博客网 时间:2024/06/04 18:15
一.工具准备
1.maven bin包,题主这里是apache-maven-3.3.3-bin.zip(官网自行查找)
2.jdk,题主这里是jdk1.7..(小版本忽略)
3.protoc,题主这里是protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip 两个包
4.hadoop源码,题主这里是hadoop-2.6.0-src.tar.gz
二.工具安装
1.maven安装(自行百度windows下maven安装配置)
2.protoc安装
(1)将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中。
(2)将proto.exe文件拷贝到解压后的XXX\protobuf-2.5.0\src目录中.
(3)进入XXX\protobuf-2.4.1\java 目录 执行maven package命令编辑该包 生成protobuf-java-2.5.0.jar文件(位于target目录中)。
(4)maven package
(5)protoc --version
(6)显示 libprotoc 2.5.0
3.通过maven下载源码
(1)进入hadoop-2.6.0-src\hadoop-maven-plugins,运行mvn install,如果看到结果是 BUILD SUCCESS的话 代表打包成功了
(2)进入D:\hadoop2\hadoop-2.6.0-src目录下,执行mvn eclipse:eclipse -DskipTests,如果看到结果是BUILD SUCCESS的话 代表打包成功了
(完成以上俩步就可以将hadoop-2.6.0-src当成eclipse的项目导入了)
三.项目源码错误解决
1.第一个问题,hadoop-common-project\hadoop-common\src\test\avro的问题
(1)cd D:\hadoop2\hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\test\avro
(2)java -jar D:\hadoop2\hadoop-2.6.0-src\hadoop-common-project\avro-tools-1.7.7.jar compile schema avroRecord.avsc ../java
(3)右键单击eclipse中的hadoop-common项目,然后refresh。
2.第二个问题,hadoop-common-project\hadoop-common\src\test\proto的问题
(1)cd D:\hadoop2\hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\test\proto
(2)protoc --java_out=../java *.proto
3.第三个问题,hadoop-streaming项目包缺失
(1)在eclipse中,右键单击hadoop-streaming项目,选择“Properties”,左侧栏选择Java Build Path,然后右边选择Source标签页,注意出错的那个路径(先不要删除)。
(2)点击“Link Source按钮”,选择被链接的目录为“<你的源代码根目录>/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf”,链接名可以使用显示的(也可以随便取);
(3)inclusion patterns中添加capacity-scheduler.xml,exclusion patters中添加**/*.java,这个信息与出错的那项一样;完毕后将出错的项删除。刷新hadoop-streaming项目。
本文有参考至:http://blog.csdn.net/u011007180/article/details/52589391
- 使用maven构建hadoop2.6的eclipse源码
- 使用Maven将Hadoop2.2.0源码编译成Eclipse项目
- 使用Maven将Hadoop2.2.0源码编译成Eclipse项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- sql server- 查看进程池默认最大连接数和数据当前连接数
- java的Collection
- javascript入门基础篇重点 第十三节
- java集合07--Stack源码解读
- mysql命令行执行时不输出列名(字段名)
- 使用maven构建hadoop2.6的eclipse源码
- C++学习笔记四——何时使用引用参数
- 天道酬勤,善思广进
- 用户登录功能的一些口令等等问题详解
- 杂感
- 使用Tkinter设计基于python的GUI交互
- Android之butterknife使用
- 编译器设计:文法与LL(1)
- 一次性下载《R语言实战2》全书的R包及常用的R包