第一步 hadoop 2.6.0 64位ubuntu 下编译

OS: Ubuntu 14.04LST 64-bit

hadoop version: 2.6.0

Java: Jdk1.7.0_45

坑
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

官网下载是32位的hadoop，安装在了64位的linux系统上。lib包编译环境不一样，所以不能使用

解决办法：重新编译hadoop.

先装依赖包
sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev

因为还要用到ssh，所以如果机器上没有的话

sudo apt-get install openssh-server

编译过程中还会用到protobuf 2.5.0 不然报错
网上大都提供的google地址
下载最新的protobuf： https://code.google.com/p/protobuf/downloads/list
，不能上的有好心人提供了百度网盘
 http://pan.baidu.com/s/1pJlZubT

解压，依次运行
$ ./configure --prefix=/usr
$ sudo make
$ sudo make check
$ sudo make install

装完检查
$ protoc --version
libprotoc 2.5.0   

安装配置 maven

ubuntu下用apt-get安装maven

$ sudo apt-get install maven

安装ant 否则报错
sudo apt-get install ant

都装了以后 可以开始编译hadoop了
在官网下载stable版2.6.0
下载hadoop-2.6.0-src.tar.gz
解压后进入 hadoop-2.2.0-src 目录

运行
mvn package -Pdist,native -DskipTests -Dtar


编译时报错
[ERROR] Exit code: 1 - /home/grid2/hadoop/release-2.5.0/hadoop-common-project/hadoop-annotations/src/main/java/org/apache/hadoop/classification/InterfaceStability.java:27: error: unexpected end tag: </ul>

原因 jdk 1.8也碰到这个问題，换成jdk-7u67后正常。


此时编译好的文件位于 hadoop-2.6.0-src/hadoop-dist/target/hadoop-2.6.0/ 目录中