Linux编译hadoop-2.8.1-src.tar.gz

环境说明：

1、虚拟机为VM102、Linux系统为centos6.53、Hadoop为hadoop-2.8.1-src.tar.gz4、JDK为jdk-8u45-linux-x64.gz5、Maven为apache-maven-3.3.9-bin.zip6、protobuf为protobuf-2.5.0.tar.gz7、findbugs为findbugs-1.3.9.zip

软件包地址

Linux：链接：https://pan.baidu.com/s/1c2jinQC 密码：qvb4Hadoop：链接：https://pan.baidu.com/s/1eSjex7k 密码：9d6lJDK：链接：https://pan.baidu.com/s/1pLR10mR 密码：t2deMaven：链接：https://pan.baidu.com/s/1dEMLRKt 密码：jvhbprotobuf：链接：https://pan.baidu.com/s/1qYups3E 密码：15difindbugs：链接：https://pan.baidu.com/s/1nvMfOdN 密码：iiq8maven资源库(.m2.tar.gz)：链接：https://pan.baidu.com/s/1kUDMgWv 密码：pediVM10请自行下载，自己动手丰衣足食

下面开始安装

申明：当前用户为root用户

1、解压tar包

创建文件夹/opt/sourcecode mkdir -p /opt/sourcecode上传文件到/opt/scourcecode目录 rz 进入目录解压tar tar -zxvf hadoop-2.8.1-src.tar.gz解压后查看用户和用户组是否变化 ll  若变化，手动更改用户和用户组权限 chown -R root:root hadoop-2.8.1-src

2、查看编译所需条件

cat ./hadoop-2.8.1-src/BUILDING.txt------以下----------    * Unix System    * JDK 1.7+    * Maven 3.0 or later    * Findbugs 1.3.9 (if running findbugs)    * ProtocolBuffer 2.5.0    * CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac    * Zlib devel (if compiling native code)    * openssl devel (if compiling native hadoop-pipes and to get the best HDFS encryption performance)    * Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_dfs)    * Internet connection for first build (to fetch all Maven and Hadoop dependencies)------以上----------

3、安装jdk

声明：请使用Oracle jdk，可去Oracle官网下载最新

解压jdk

创建/usr/java目录 mkdir -p /usr/java移动jdk到/usr/java目录下解压 tar -zxvf jdk-8u45-linux-x64.gz解压后查看用户和用户组是否变化 ll  若变化，手动更改用户和用户组权限 chown -R root:root jdk1.8.0_45

配置环境变量

编辑/etc/profile vi /etc/profile在最下面添加如下信息-----以下------ #jdk存放的路径，根据自身情况可修改 export JAVA_HOME=/usr/java/jdk1.8.0_45 export PATH=$JAVA_HOME/bin:$PATH-----以上-------保存退出后生效配置文件 source /etc/profile验证是否配置成功 java -version 若输出对应版本号，则成功

4、安装maven

解压

创建/opt/software目录 mkdir -p /opt/software移动maven到/opt/software下解压 upzip apache-maven-3.3.9-bin.zip解压后查看用户和用户组是否变化 ll 若变化，手动更改用户和用户组权限 chown -R root:root apache-maven-3.3.9

配置环境变量

编辑/etc/profile vi /etc/profile在最下面添加如下信息-----以下------ #软件存放的路径，根据自身情况可修改 export JAVA_HOME=/usr/java/jdk1.8.0_45 export MAVEN_HOME=/opt/software/apache-maven-3.3.9 export MAVEN_OPTS="-Xms256m -Xmx512m" export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH-----以上-------保存退出后生效配置文件 source /etc/profile验证是否配置成功 mvn -version 若输出对应版本号，则成功

5、安装protobuf

解压和安装配置

移动protobuf到/opt/software目录下解压 tar -zxvf protobuf-2.5.0.tar.gz解压后查看用户和用户组是否变化 ll  若变化，手动更改用户和用户组权限 chown -R root:root protobuf-2.5.0进入protobuf-2.5.0目录 cd protobuf-2.5.0在当前目录下安装gcc、gcc-c++、make、cmake yum install -y gcc gcc-c++ make cmake执行protobuf的配置命令 ./configure --prefix=/usr/local/protobuf 执行结束后确保/user/local目录下存在protobuf文件夹，若不存在创建该文件夹:mkdir -p /usr/local/protobuf安装make make && make install

配置环境变量

编辑/etc/profile vi /etc/profile在最下面添加如下信息-----以下------ #软件存放的路径，根据自身情况可修改 export JAVA_HOME=/usr/java/jdk1.8.0_45 export MAVEN_HOME=/opt/software/apache-maven-3.3.9 export MAVEN_OPTS="-Xms256m -Xmx512m" export PROTOC_HOME=/usr/local/protobuf export PATH=$PROTOC_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH-----以上-------保存退出后生效配置文件 source /etc/profile验证是否配置成功 protoc-version 若输出对应版本号，则成功

6、安装Findbugs

解压

移动findbugs到/opt/software下解压 upzip findbugs-1.3.9.zip解压后查看用户和用户组是否变化 ll 若变化，手动更改用户和用户组权限 chown -R root:root findbugs-1.3.9

配置环境变量

编辑/etc/profile vi /etc/profile在最下面添加如下信息-----以下------ #软件存放的路径，根据自身情况可修改 export JAVA_HOME=/usr/java/jdk1.8.0_45 export MAVEN_HOME=/opt/software/apache-maven-3.3.9 export MAVEN_OPTS="-Xms256m -Xmx512m" export PROTOC_HOME=/usr/local/protobuf export FINDBUGS_HOME=/opt/software/findbugs-1.3.9 export PATH=$FINDBUGS_HOME/bin:$PROTOC_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH-----以上-------保存退出后生效配置文件 source /etc/profile验证是否配置成功 findbugs-version 若输出对应版本号，则成功

7、安装其他依赖

yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtoolyum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

8、编译hadoop

进入adoop-2.8.1-src目录 cd /opt/sourcecode/hadoop-2.8.1-src执行编译命令 mvn clean package -Pdist,native -DskipTests -Dtar说明：    该过程第一次编译可能会花费几个小时，maven会下载相应的jar包消耗时间。    二次编译较快(半小时左右)。若不想下载，则参考步骤9。    若编译过程中出现网络假死，则按Ctrl+C结束，再次执行编译命令。    若多次都发生网络假死卡住，请参考步骤9。若出现如下字样，表示编译成功 -----以下------[INFO] Apache Hadoop Distribution ......................... SUCCESS [01:07 min][INFO] ------------------------------------------------------------------------[INFO] BUILD SUCCESS[INFO] ------------------------------------------------------------------------[INFO] Total time: 31:41 min[INFO] Finished at: 2017-12-10T11:55:28+08:00[INFO] Final Memory: 166M/494M[INFO] ------------------------------------------------------------------------ -----以上------进入./hadoop-dist/target目录查看编译好的tar包 cd opt/sourcecode/hadoop-2.8.1-src/hadoop-dist/target hadoop-2.8.1.tar.gz 即为编译好的tar包

9、替换maven资源库

上传.m2.tar.gz到家目录/root下，.m2.tar.gz已经在软件包地址中给出删除当前家目录/root下已经存在的.m2隐藏文件 rm -rf .m2解压.m2.tar.gz到当前目录下 tar -zxvf .m2.tar.gz确保用户用户组正常 ll -a  若变化，手动更改用户和用户组权限 chown -R root:root .m2查看.m2文件大小，若为128M左右表示正常 du -sh .m2进入/opt/sourcecode/hadoop-2.8.1-src目录重新执行编译命令