Hadoop源码编译

Linux环境：CentOS 6.5
版本：Hadoop 2.7.4
下载地址：http://mirrors.shuosc.org/apache/hadoop/common/hadoop-2.7.4/hadoop-2.7.4-src.tar.gz
参考文档：https://github.com/apache/hadoop/blob/trunk/BUILDING.txt

写在前面的话

以root用户为主，配置全局环境变量
BUILDING.txt中的话

    Requirements:(编译的环境要求)    * Unix System    * JDK 1.8+    * Maven 3.3 or later(伴随后面的工作)    maven相关介绍：    Apache Maven: 软件  pom.xml    Maven  repository:        <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->        <dependency>            <groupId>mysql</groupId>            <artifactId>mysql-connector-java</artifactId>            <version>5.1.37</version>        </dependency>       * ProtocolBuffer 2.5.0    * CMake 3.1 or newer (if compiling native code)    * Zlib devel (if compiling native code)    * openssl devel (if compiling native hadoop-pipes and to get the best HDFS encryption performance)    * (暂时不需要)Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_dfs)    * Internet connection for first build (to fetch all Maven and Hadoop dependencies)    * (暂时不需要)python (for releasedocs)    * (暂时不需要)bats (for shell code testing)    * (暂时不需要)Node.js / bower / Ember-cli (for YARN UI v2 building)

编译前的准备

    切换到root用户        $>su -    查看是否有相关进程运行        $>ps -ef | grep hadoop    查看是否有安装的残留        $>find / -name hadoop    进入到opt目录        $>cd /opt    创建两个相关文件夹(sourcecode:源码 software:软件)        $>mkdir sourcecode software    将事先下载完的源代码包上传到sourcecode    安装命令        $>yum -y install lrzsz(必须要有网络)    查看是否安装完毕(rz用于上传软件，也可以使用WinSCP)        $>which rz    解压        $>tar -xzvf hadoop-2.8.1-src.tar.gz

部署JAVA环境

    创建目录        $>mkdir /usr/java    进入目录        $>cd /usr/java    使用rz命令上传        $>rz    解压        $>tar -xzvf jdk-8u45-linux-x64.gz    修改用户和用户组(针对出现目录权限变更的情况)        $>chown -R root:root jdk1.8.0_45    配置全局环境变量        $>vi /etc/profile          export JAVA_HOME=/usr/java/jdk1.8.0_45          export PATH=$JAVA_HOME/bin:$PATH    生效环境变量        $>source /etc/profile    验证        $>java -version

安装maven

    进入到相关目录        $>cd /opt/software    使用rz命令上传        $>rz    解压        $>unzip apache-maven-3.3.9-bin.zip    配置全局环境变量        $>vi/etc/profile          export MAVEN_HOME=/opt/software/apache-maven-3.3.9          export MAVEN_OPTS="-Xms256m -Xmx512m"          export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH    生效环境变量        $>source /etc/profile    验证        $>mvn -version    修改conf/settings.xml(将mirror换成阿里云的，后面编译的时候速度会快些)      <mirrors>        <mirror>          <id>alimaven</id>          <name>aliyun maven</name>          <url>http://maven.aliyun.com/nexus/content/groups/public/</url>          <mirrorOf>central</mirrorOf>                </mirror>      </mirrors>

安装ProtocolBuffer 2.5.0

下载下来的为源码，需要自己手动使用命令进行编译安装，然后进行环境变量的配置

    进入到相关目录        $>cd /opt/software    使用rz命令上传        $>rz    解压        $>tar -xzvf protobuf-2.5.0.tar.gz    进行安装        $>yum install -y gcc gcc-c++ make cmake           (安装cmake  -y表示回车之后不需要输入yes了)        $>cd protobuf-2.5.0        $>./configure --prefix=/opt/software/protobuf  (指定编译之后的安装路径，目录不需要自己去创建，编译过程中会自动创建)        $>make && make install                        (开始安装)    配置全局环境变量        $>vi /etc/profile          export PROTOC_HOME=/opt/software/protobuf          export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH    生效环境变量        $>source /etc/profile    验证        $>protoc --version

Findbugs安装(可选，可以不安装)

    进入到相关目录        $>$>cd /opt/software    使用rz命令上传        $>rz    解压        $>unzip findbugs-1.3.9.zip    配置全局环境变量        $>vi /etc/profile          export FINDBUGS_HOME=/opt/software/findbugs-1.3.9          export PATH=$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH     生效环境变量        $>source /etc/profile    验证        $>findbugs -version

安装其它依赖

根据Github上的文档中Requirements的要求，安装剩下的依赖，以及编译过程中可能会缺失的东西，以免编译失败

        $>yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool        $>yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

开始编译

        $>cd /opt/sourcecode/hadoop-2.7.4-src        $>mvn clean package -Pdist,native -DskipTests -Dtar        -DskipTests ：跳过测试        -Dtar       ：打成tar包        BUILDING.txt上的说明：        Building distributions:        Create binary distribution without native code and without documentation:          $ mvn package -Pdist -DskipTests -Dtar -Dmaven.javadoc.skip=true        Create binary distribution with native code and with documentation:          $ mvn package -Pdist,native,docs -DskipTests -Dtar        Create source distribution:          $ mvn package -Psrc -DskipTests        Create source and binary distributions with native code and documentation:          $ mvn package -Pdist,native,docs,src -DskipTests -Dtar        Create a local staging version of the website (in /tmp/hadoop-site)          $ mvn clean site -Preleasedocs; mvn site:stage -DstagingDirectory=/tmp/hadoop-site

编译成功

编译成功的截图

编译之后
路径：/opt/sourcecode/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.7.4.tar.gz

补充说明

a.有时候编译过程中会出现下载某个包的时间太久，这是由于连接网站的过程中会出现假死，此时按ctrl+c，重新运行编译命令。
b.如果出现缺少了某个文件的情况，则要先清理maven(使用命令 mvn clean) 再重新编译。