Hadoop编译

来源:互联网 发布:商业网络 编辑:程序博客网 时间:2024/06/02 00:43

一、环境
Centos6.4 64位操作系统
二、准备工作
1、重新编译需要的软件包:
apache-ant-1.9.4-bin.tar.gz
findbugs-3.0.0.tar.gz
protobuf-2.5.0.tar.gz
apache-maven-3.0.5.tar.gz
2、hadoop2.4.6的源码包:
hadoop-2.4.6-src.tar.gz
3、解压源码包
tar -zxvf hadoop-2.4.6-src.tar.gz -C ~/apps/hadoop
4、解压maven,并将其添加到环境变量中
tar -zxvf apache-maven-3.0.5.tar.gz -C ~/tools/maven
添加环境变量,修改/etc/profile文件:
export MAVEN_HOME=
export PATH =
保存后,使用命令:source /etc/profile,使配置即时生效。
验证:mvn -v
5、解压ANT,将其添加到环境变量中
tar -zxvf apache-ant-1.9.4-bin.tar.gz -C ~/tools/ant
添加环境变量,修改/etc/profile文件:
export ANT_HOME=
export PATH =
保存后使用命令:source /etc/profile,使配置即时生效。
验证:ant -version
6、解压findbugs,将其添加到环境变量中
tar -zxvf findbugs-3.0.0.tar.gz -C ~/tools/findbugs
添加环境变量、保存、使其即时生效(同上)
验证:findbugs -version
7、安装protobuf
编译Hadoop需要protobuf的编译器protoc,一定要是protobuf2.5.0以上。
直接解压protobuf:
tar -zxvf protobuf-2.5.0.tar.gz -C ~/tools/protobuf
依次执行如下命令进行安装:(需要使用root权限进行安装:su 到root用户,或使用 sudo命令)
cd ~/tools/protobuf/protobuf-2.5.0
./configure
make
make check
make install
执行完成之后,验证:
protoc -version
8、安装依赖:cmake、openssl-devel、ncurses-devel(需要root权限)
yum install cmake
yum install openssl-devel
yum install ncurses-devel


依次执行如下命令:
cd ~/apps/hadoop/hadoop-2.4.6-src
mvn clean install -DskipTests
mvn package -Pdist,native -DskipTests -Dtar
编译需要花费很长的时间:最后显示 BUILD SUCCESS,表示编译成功。
编译好的在如下文件夹下:
~/apps/hadoop/hadoop-2.4.6-src/hadoop-dist/target/hadoop-2.4.0/lib/native
使用:
将该native文件夹替换原有的native文件夹即可。

Good luck !!!