centos 7编译hadoop 2.7.3

Build instructions for Hadoop


----------------------------------------------------------------------------------
Requirements:


* Unix System
* JDK 1.7+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
* Zlib devel (if compiling native code)
* openssl devel ( if compiling native hadoop-pipes and to get the best HDFS encryption performance )
* Linux FUSE (Filesystem in Userspace) version 2.6 or above ( if compiling fuse_dfs )
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)


----------------------------------------------------------------------------------
Installing required packages for clean install of Ubuntu 14.04 LTS Desktop:


* Oracle JDK 1.7 (preferred)
  $ sudo apt-get purge openjdk*
  $ sudo apt-get install software-properties-common
  $ sudo add-apt-repository ppa:webupd8team/java
  $ sudo apt-get update
  $ sudo apt-get install oracle-java7-installer
* Maven
  $ sudo apt-get -y install maven
* Native libraries
  $ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
* ProtocolBuffer 2.5.0 (required)
  $ sudo apt-get -y install libprotobuf-dev protobuf-compiler


Optional packages:


* Snappy compression
  $ sudo apt-get install snappy libsnappy-dev
* Bzip2
  $ sudo apt-get install bzip2 libbz2-dev
* Jansson (C Library for JSON)
  $ sudo apt-get install libjansson-dev
* Linux FUSE

  $ sudo apt-get install fuse libfuse-dev

上面是编译后产生的文件

下面开始总结

-----------------

安装jdk

hadoop java写的这是必须的

安装ssh

ssh  一种加密网络协议，安装这个目的是为了在不同节点通信的时候不用麻烦的输入密码

生成密钥
ssh-keygen -t rsa -P ""  
执行后会在.ssh目录下生成id_rsa和id_rsa.pub两个文件
进入.ssh目录，并将id_rsa.pub追加到authorized_keys文件中
cd ./.ssh  
cat id_rsa.pub >> authorized_keys   
chmod 600 authorized_keys # 修改用户权限

安装Maven

maven 用来构建hadoop 的，毕竟hadoop中的内容是好几个大公司写的

Maven 和 Ant 针对构建问题的两个不同方面。

Ant 为 Java 技术开发项目提供跨平台构建任务。

Maven 本身描述项目的高级方面，它从 Ant 借用了绝大多数构建任务。

因此，由于 Maven 和 Ant代表两个差异很大的工具

这个好像系统自带的有，不用我自己动手了

安装 Findbugs

静态分析工具，在编译源码的时候用来发现错误的

# vim /etc/profile
export FINDBUGS_HOME=/usr/local/findbugs/findbugs-3.0.0
export PATH=$PATH:$FINDBUGS_HOME/bin

下载、安装配置环境

安装protocolbuffers

这个东西估计就是来序列化数据的吧，在hadoop也有一个序列化的avro  不知道二者有什么关系，现在说的是安装，分析等看到的时候再来

Protocol Buffers 是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，很适合做数据存储或 RPC 数据交换格式。它可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。

这个我是看着说明文件安装的，装了三遍才好

在解压后的文件中执行

  $ ./configure
  $ make
  $ make check
  $ make install

这样安装环境就好了

编译hadoop

先解压源码

# mvn package -Pdist,native -DskipTests -Dtar

这是我编译的时间

根据网速的

上次用ubuntu

 

难受啊

到最后还不能用

还好从中得到的不仅仅是错误还有经验。

祝你好运！