CentOS6.5下Hadoop2.8.1编译

一、软件准备
所需软件链接：http://pan.baidu.com/s/1bplgej9 密码：8pxr
1、jdk1.8
进入 cd /usr/java/目录
上传jdk1.8并解压并改名

tar -zxvf jdk-8u144-linux-x64.tar.gzmv jdk1.8.0_144 jdk1.8

配置环境变量vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8export PATH=$JAVA_HOME/bin:$PATH

使环境变量立即生效

source /etc/profile

查看java是否配置成功

 which java java -version

查看jdk文件夹所属组和用户是不是root，如果不是请执行以下语句

chown -R root:root jdk1.8/

2、maven
进入/opt目录创建software sourcecode两个文件夹

mkdir sourcecode sofrware

上传 maven到/opt/software/目录然后解压

 unzip apache-maven-3.3.9-bin.zip

改名

mv apache-maven-3.3.9 maven-3.3.9

配置环境变量vim /etc/profile

export MAVEN_HOME=/opt/software/maven-3.3.9export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

使环境变量立即生效

source /etc/profile

查看是否成功

 which mvn mvn -version

3、 protobuf
上传 protobuf-2.5.0.tar.gz至/opt/software/目录然后解压

tar -zxvf protobuf-2.5.0.tar.gz

进入protobuf-2.5.0目录
安装gcc gcc-++ make cmake

yum install -y gcc gcc-c++ make cmake

对protoc进行配置并指定路径

./configure --prefix=/usr/local/protobuf

执行make && make install
进行安装（会安装到/usr/local/protobuf目录）
配置环境变量 vim /etc/profile

export PROTOC_HOME=/usr/local/protobufexport PATH=$PROTOC_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

立即生效、是否成功

source /etc/profile which protoc protoc --version（注意两个横杠）

4、findbugs
上传fingbugs到software目录并解压

 unzip findbugs-1.3.9.zip

配置环境变量
vim /etc/profile

export FINDBUGS_HOME=/opt/software/findbugs-1.3.9export PATH=$FINDBUGS_HOME/bin:$PROTOC_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

5、其他依赖包的安装

yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc*  *bzip2*yum -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-devyum -y  install libprotobuf-dev protobuf-compileryum -y   install snappy libsnappy-dev bzip2 libbz2-dev  libjansson-dev  fuse libfuse-dev

6、将Hadoop2.8.1源码包上传至/opt/sourcecode目录
解压

tar -zxvf hadoop-2.8.1-src.tar.gz

编译
必须进入src文件夹

[root@hadoop001 hadoop-2.8.1-src]# mvn clean package -Pdist,native -DskipTests -Dtar

7、加快编译速度
在maven的config文件夹下的seting.xml中加入阿里maven的连接

<mirror>        <id>nexus-aliyun</id>        <mirrorOf>*</mirrorOf>        <name>Nexus aliyun</name>        <url>http://maven.aliyun.com/nexus/content/groups/public</url ></mirror>

再执行以下命令进行编译

mvn clean package -Pdist -Dtar -Dmaven.javadoc.skip=true -DskipTests -fail-at-end -Pnative  

注意必须进入hadoop-2.8.1-src文件夹执行编译命令

编译成功后的文件放在以下目录

/opt/sourcecode/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz

hadoop-2.8.1.tar.gz即为编译成功后的文件