使用centos6.5 64位编译hadoop2.7.2

来源:互联网 发布:linux开启mysql服务 编辑:程序博客网 时间:2024/06/05 19:14

最近,需要学习一下大数据的平台,就学着搭建,但是发现有时候官网上提供的是在32位机器上编译的代码,就需要自己编译源码,就从网上寻找过程,现在就总结一下

本文使用的vm下面的centos6.5 64 位的版本,从官网下载最新的稳定版hadoop-2.7.2-src

下面的操作是默认已经有centos6.5的系统环境。

1.搭建编译环境

1.1 安装基本的编译环境(主要是gcc等一些常用的,在此可以查阅官网)

  1. yum -y install  svn   ncurses-devel   gcc*  
  2. yum -y install lzo-devel zlib-devel autoconf    automake    libtool    cmake     openssl –devel

1.2安装jdk环境

这里使用的是jdk1.7的版本   jdk-7u79-linux-x64.tar.gz

  1. mkdir /usr/java  
  2. tar -zxvf jdk-7u79-linux-x64.tar.gz -C /usr/java/

  3. 这里需要配置环境变量 
  4. vim /etc/profile
    1. #set java environmen  
    2. export JAVA_HOME=/usr/java/jdk1.7.0_79/  
    3. export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  
    4. export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 
保存退出之后

  1. source /etc/profile  
时的环境变量生效


1.3安装protobuf-2.5.0.tar.gz

  1. tar -zxvf protobuf-2.5.0.tar.gz -C /usr/
  2. cd /usr/protobuf-2.5.0/
  3. 检查
  4. ./config
  5. 编译
  6. make
  7. 安装
  8. make install
  9. 检查安装
  10. protoc --version 

1.4 安装ANT  apache-ant-1.9.3-bin.tar.gz

  1. tar -zxvf apache-ant-1.9.3-bin.tar.gz -C /usr/ 
  2. vim /etc/profile
  3. export ANT_HOME=/usr/apache-ant-1.9.3  
  4. export PATH=$PATH:$ANT_HOME/bin  
  5. 退出
  6. source /etc/profile


1.5安装 apache- maven- 3.3.1- bin.tar.gz

  1. tar -zxvf apache-maven-3.3.1-bin.tar.gz -C /usr/
  2. vim /etc/profile
  3. export MAVEN_HOME=/usr/apache-maven-3.3.1 
  4. export PATH=$PATH:$MAVEN_HOME/bin
  5. 退出
  6. source /etc/profile



经过上述的过程之后就可以开始编译hadoop-2.7.2 了。

2.0编译hadoop

  1. tar -zxvf hadoop-2.7.2-src.tar.gz -C /cloud/
  2. cd /cloud/hadoop-2.7.2-src/
  3. 执行
  4. mvn package -Pdist,native -DskipTests -Dtar 
  5. 或者 
  6. mvn clean package –Pdist,native –DskipTests –Dtar 


编译好的文件放在

  1. /hadoop-2.7.2-src/hadoop-dist/target/hadoop-2.7.2.tar.gz


0 0