hadoop概念及源码编译

hadoop源码编译

一、基础概念

1、Hadoop: hadoop.apache.org
         b、狭义: 软件(HDFS、MapReduce、Yarn)
         a、褒义: 以hadoop为主的生态圈

2、Hadoop1.x
       HDFS  : 分布式文件系统，存储
       MapReduce: 分布式计算+资源调度和作业调度

3、Hadoop2.x
       HDFS :  分布式存储
       MapReduce : 分布式计算
       Yarn : YetAnother Resource Negotiator  资源调度和作业调度平台

二、hadoop源码编译

      源码包：hadoop-2.8.1-src.tar.gz

1、参考文章

       https://github.com/apache/hadoop/blob/trunk/BUILDING.txt

2、编译要求：

    解压hadoop-2.8.1-src.tar.gz后进入解压文件夹hadoop-2.8.1-src后more BUILDING.txt，则会打印出该源码包的编 译要求

3:、所需软件

       

       

4、安装所需软件

       a、将安装包jdk-8u45-linux-x64.gz上传至新建的/usr/java/目录下，执行解压，并修改解压后的文件属主与属组为root,并将JAVA_HOME写入/etc/profile中，保存生效。

       b、将安装包apache-maven-3.3.9-bin.zip上传至新建的/opt/software/目录下，执行解压，并修改解压后的文件属主与属组为root,并将MAVEN_HOME写入/etc/profile中，保存生效。

       c、将安装包protobuf-2.5.0.tar.gz上传至新建的/opt/software/目录下，执行解压，并修改解压后的文件属主与属组为root,并将PROTOBUF_HOME写入/etc/profile中，保存生效。

       d、将安装包findbugs-1.3.9.zip上传至新建的/opt/software/目录下，执行解压，并修改解压后的文件属主与属组为root,并将FINDBUGS_HOME写入/etc/profile中，保存生效。

     在配置文件最末行添加内容如下：

    

5、安装其他依赖

       执行yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool

       再执行yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

6、编译：编译时长视网络而定，从十多分钟到四五个小时不等

      a、cd  /opt/sourcecode

      b、tar -zxvf   hadoop-2.8.1-src.tar.gz 

      c、cd hadoop-2.8.1-src

      d、mvn clean package -Pdist,native -DskipTests -Dtar

出现如下图则编译成功：