centos7 64位编译hadoop源码

来源：互联网发布：淘宝店铺店招设计编辑：程序博客网时间：2024/05/13 10:31

一.系统环境介绍

1.系统：linux centos7 64位

2.开发工具：eclipse neno

3.hadoop版本：hadoop 2.5.2

4.java版本：jdk1.8

5.proto版本：2.5.0

6.maven

二。安装前准备

配置jdk maven。。。。

编译安装proto,并配置环境变量

三。编译hadoop

在源码根目录执行

mvn eclipse:eclipse –DskipTests

四。导入eclipse工程

五。错误处理

1.maven下载pom文件失败-->重新执行或者修改maven地址

2.hadoop-streaming中build path错误、

1.删除...hadoop-yarn-server-resourcemanager/conf

2.Link Source:源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf，名字conf

3.org.apache.hadoop.io.serializer.avro.TestAvroSerialization

下载avro-tools-1.7.4.jar：http://archive.apache.org/dist/avro/avro-1.7.4/java/

进入目录：源码根目录\hadoop-common-project\hadoop-common\src\test\avro

java -jar path/to/avro-tools-1.7.4.jar compile schema avroRecord.avsc ..\java

4.org.apache.hadoop.ipc.protobuf.TestProtos

进入目录：源码根目录\hadoop-common-project\hadoop-common\src\test\proto

protoc --java_out ../java *.proto

0 0