Hadoop2.7.3 编译 支持5种压缩

导读：
      按博客中的操作步骤操作后，hadoop 编译完成后可以支持5种本地压缩：zlib、snappy、lz4、bzip2、openssl

笔者环境配置为：JDK1.8、Hadoop2.7.3，Hive2.3.0，你也可以使用其它版本，注意版本兼容即可

1.安装依赖工具

1.安装相关工具

由于笔者是最小安装，所以很多工具都没有安装，具体需要安装哪些的工具，也不太清楚，所以就安装了很多。建议你使用root用户安装。

# yum -y  install make gcc gcc-c++ gcc-g77 flex bison file libtool libtool-libs autoconf kernel-devel libjpeg libjpeg-devel libpng libpng-devel libpng10 libpng10-devel gd gd-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glib2 glib2-devel bzip2 bzip2-devel libevent libevent-devel ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5 krb5-devel libidn libidn-devel openssl openssl-devel gettext gettext-devel ncurses-devel gmp-devel pspell-devel unzip libcap lsof build-essential cmake 1g-dev pkg-config libssl-dev lzo-devel fuse fuse-devel zlib1g-dev libprotobuf-dev protobuf-compiler snappy libbz2-dev libjansson-dev libfuse-dev

如果安装完上述工具后，还是缺少可以使用如下命令来检测安装

# yum -y groupinstall “Development Tools”

2.安装protobuf

解压编译安装

# tar -zxvf protobuf-2.5.0.tar.gz# cd /home/hadoop/protobuf-2.5.0# ./configure --prefix=/home/hadoop/protobuf/  # make && make install

环境变量

# vim ~/.bashrc# source ~/.bashrc

export PATH=/home/hadoop/protobuf/bin:$PATH

如果在编译安装的时候报如下错误
libtool: install: error: cannot install `libaprutil-1.la’ to a directory
原因：可能是以前安装用过./configure，导致安装文件已经不太“干净”
解决方法：
(1).执行命令make clean
(2).删除刚刚编译安装的目录protobuf，重新解压安装编译即可

3.安装snappy

解压编译安装

# tar -zxvf snappy-1.1.1.tar.gz# cd snappy-1.1.1# ./configure# make && make install

检查snappy是否安装完成

ll /usr/local/lib/ | grep snappy

2.hadoop 编译

1.配置maven

解压、重命名、配置环境变量

# tar -zvxf apache-maven-3.3.9-bin.tar.gz# mv apache-maven-3.3.9-bin.tar.gz maven3# vim ~/.bashrc

export MAVEN_HOME=/home/hadoop/maven3export M2_HOME=$MAVEN_HOME

重新加载文件，使环境变量立即生效

# source ~/.bashrc

创建.m2文件，复制setting到该目录

# cd /home/hadoop# mkdir .m2

2.编译hadoop

hadoop 编译前将hadoop本地库加入到环境变量

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

从官网下载hadoop的源码包，解压

$ tar -zxvf hadoop-2.7.3-src.tar.gz$ cd hadoop-2.7.3-src/

输入如下命令开始编译，编译过程较长，耐心等待

$ mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X

如果看到BUILD SUCCESS，且没有异常信息，说明hadoop已经编译成功

编译完成后可以看到hadoop的压缩包

$ cd /home/hadoop/hadoop-2.7.3-src/hadoop-dist/target

笔者配置的hadoop 的伪分布式，解压编译好的hadoop压缩包，替换掉里面的配置文件即可，启动输入如下命令

$ hdfs namenode -format    #只在第一次启动时执行$ start-dfs.sh$ start-yarn.sh$ mr-jobhistory-daemon.sh start historyserver

启动过程中老是提示输入密码，解决方法是配置ssh无密登录，输入如下命令即可

$ su root# ssh-keygen -t rsa# cp id_rsa.pub authorized_keys# exit

检查hadoop的本地库

$ hadoop checknative