Hadoop入门之Hadoop-2.5.0源码编译

一、 为什么要编译Hadoop源码

Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。

native目录是本地库，位于hadoop-2.x.x/lib/native目录下，仅支持Linux和unix操作系统。

hadoop中的zlib和gzip模块会加载本地库，如果加载失败，会提示：

16/07/06 12:18:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Javaclasses where applicable

可以在core-site.xml中配置hadoop.native.lib值是否使用本地库，默认值为true。

官方提供的hadoop-2.x版本中，native文件都是32位编译的，在实际使用64位环境中，为了能让Hadoop更高效地运行，最好还是在本地编译Hadoop源码，用本地编译好的本地库（native目录）替换官方安装包里自带的本地库。

二、 编译源码的环境要求

1、 必须在Linux下进行

2、 Java JDK必须为1.6以上

3、 Maven 版本必须为3.0以上

4、 安装Findbugs插件，版本1.3.9

5、 安装CMake编译工具，版本2.6

6、 安装zlib devel

7、 安装openssl devel

8、 编译时必须可以连接互联网，因为需要yum下载软件。

三、 用到的软件包

1、 apache-maven-3.0.5-bin.tar.gz

2、 cmd_markdown_win64.zip

3、 findbugs-1.3.9.tar.gz

4、 hadoop-2.5.0-src.tar.gz

5、 jdk-7u67-linux-x64.tar.gz

6、 native-2.5.0.tar.gz

7、 protobuf-2.5.0.tar.gz

四、 Hadoop2.x源码编译步骤

1、 解压Hadoop源码安装包

(1) [hadoop@bigdata-senior01 sofeware]$ tar -zxf hadoop-2.5.0-src.tar.gz -C /opt/modules/

(2) 查看是否已经解压成功

[hadoop@bigdata-senior01 sofeware]$ ll /opt/modules/

total 12

drwxr-xr-x. 11 hadoop hadoop 4096 Jul 4 17:48 hadoop-2.5.0

drwxr-xr-x 15 hadoop hadoop 4096 Aug 7 2014 hadoop-2.5.0-src

2、 解压JDK

(1) [hadoop@bigdata-senior01 sofeware]$ tar -zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

(2) 查看是否已经解压成功

[hadoop@bigdata-senior01 sofeware]$ ll /opt/modules/

total 12

drwxr-xr-x. 11 hadoop hadoop 4096 Jul 4 17:48 hadoop-2.5.0

drwxr-xr-x 15 hadoop hadoop 4096 Aug 7 2014 hadoop-2.5.0-src

drwxr-xr-x. 8 hadoop hadoop 4096 Jul 26 2014 jdk1.7.0_67

3、 root用户配置Java JDK环境变量

(1) root用户进入/etc/profile文件

[root@bigdata-senior01 sofeware]$ vim /etc/profile

(2) 配置JDK_HOME和PATH

export JAVA_HOME="/opt/modules/jdk1.7.0_67"

export PATH=$JAVA_HOME/bin:$PATH

(3) 生效配置文件

[root@bigdata-senior01 sofeware]$ source /etc/profile

(4) 确认Jave配置成功

[root@bigdata-senior01 sofeware]$ java -version

java version "1.7.0_67"

Java(TM) SE Runtime Environment (build 1.7.0_67-b01)

Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

4、 root用户安装Maven

(1) Apache Maven，是一个软件项目管理及自动构建工具。Maven完成项目生命周期的所有阶段，包括验证、代码生成、编译、测试、打包、集成测试、安装、部署、以及项目网站创建和部署。maven的好处在于可以将项目过程规范化、自动化、高效化以及强大的可扩展性。

对于需要的依赖，Maven可以从配置的远程仓库里按需自动下载到本地仓库

(2) 解压Maven

[hadoop@bigdata-senior01 sofeware]$ tar -zxf apache-maven-3.0.5-bin.tar.gz -C /opt/modules/

(3) 配置/etc/profile文件

export MAVEN_HOME="/opt/modules/apache-maven-3.0.5"

export PATH=$MAVEN_HOME/bin:$PATH

(4) 生效配置文件

[root@bigdata-senior01 sofeware]# source /etc/profile

(5) 确认Maven配置成功

[root@bigdata-senior01 sofeware]# mvn -version

Apache Maven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 21:51:28+0800)

Maven home: /opt/modules/apache-maven-3.0.5

Java version: 1.7.0_67, vendor: Oracle Corporation

Java home: /opt/modules/jdk1.7.0_67/jre

Default locale: en_US, platform encoding: UTF-8

OS name: "linux", version: "2.6.32-504.el6.x86_64", arch: "amd64", family: "unix"

5、 root用户安装gcc/gcc-c++/make

[root@bigdata-senior01 sofeware]# yum -y install gcc gcc-c++

接下来yum自动安装，直到安装成功会显示Complete!

6、 普通用户下安装protobuf

(1) [hadoop@bigdata-senior01 sofeware]$ tar -zxf protobuf-2.5.0.tar.gz -C /opt/modules/

(2) [hadoop@bigdata-senior01 sofeware]$ /opt/modules/protobuf-2.5.0/configure --prefix=/usr/local/protoc

(3) [hadoop@bigdata-senior01 sofeware]$ cd /opt/modules/protobuf-2.5.0

(4) [root@bigdata-senior01 protobuf-2.5.0]# make

(5) [root@bigdata-senior01 protobuf-2.5.0]# make install

(6) 配置/etc/profile

export PROTOBUF_HOME="/usr/local/protoc"

export PATH=$PROTOBUF_HOME/bin:$PATH

(7) 生效配置文件

[root@bigdata-senior01 sofeware]# source /etc/profile

(8) 确认配置成功

[root@bigdata-senior01 protobuf-2.5.0]# protoc --version

libprotoc 2.5.0

7、 root用户下下载安装CMake、openssl、ncurses

(1) 安装Cmake

[root@bigdata-senior01 protobuf-2.5.0]# yum -y install cmake

(2) 安装openssl

[root@bigdata-senior01 protobuf-2.5.0]# yum install openssl-devel

(3) 安装ncurses

[root@bigdata-senior01 protobuf-2.5.0]# yum -y install ncurses-devel

8、 添加maven镜像

(1) 编辑maven配置文件settings.xml

[hadoop@spark01-61cdh apache-maven-3.3.3]$ vim /opt/modules/apache-maven-3.3.3/conf/settings.xml

(2) 添加镜像

<mirror>

<id>nexus-osc</id>

<mirrorOf>*</mirrorOf>

<name>Nexus osc</name>

<url>http://maven.oschina.NET/content/groups/public</url>

</mirror>

9、 编译Hadoop源码

(1) 切换到普通用户：[root@bigdata-senior01 protobuf-2.5.0]# su hadoop

(2) 进入hadoop源码目录：[hadoop@bigdata-senior01 protobuf-2.5.0]$ cd /opt/modules/hadoop-2.5.0-src/

(3) 执行编译，编译过程中需要从yum仓库下载依赖包，需要一段时间

[hadoop@bigdata-senior01 hadoop-2.5.0-src]$ mvn package –DskipTests –Pdist,native

(4) 执行过程中如果报错，发现是下载依赖失败，可以换个apache的maven镜像地址后能够正常下载。

https://repo.maven.apache.org/maven2

10、 编译后，将native目录替换之前安装的hadoop lib目录下的native目录。

(1) 将编译后的native目录覆盖本地原有的native目录

[hadoop@bigdata-senior01 hadoop-2.5.0-src]$ cp -R /opt/modules/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0/lib/native/* /opt/modules/hadoop-2.5.0/lib/native/

(2) 进入${HADOOP_HOME}目录启动HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0-src]$ cd ${HADOOP_HOME}

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode

(3) 执行dfs命令就不会有警告了

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /