Unable to load native-hadoop library for your platform

来源:互联网 发布:免费财务分析软件 编辑:程序博客网 时间:2024/05/21 17:58
  • 问题:

在运行hadoop的时候,出现警告:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

  • 原因:

Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。

  • 解决:

一、需要准备的软件:

1.JDK和GCC

2.安装maven

下载wget http://www.eng.lsu.edu/mirrors/apache/maven/maven-3/3.2.1/binaries/apache-maven-3.2.1-bin.tar.gz

解压 tar -zxvf apache-maven-3.2.1-bin.tar.gz

配置环境变量,编辑/etc/profile或者~/.bashrc文件

export MAVEN_HOME=/home/username/apache-maven-3.2.1

export PATH=$PATH:$MAVEN_HOME/bin

最后要source /etc/profile

通过mvn –version来检查是否安装正常

3.安装protobuf

下载 wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

解压 tar -zxvf protobuf-2.5.0.tar.gz

进入protobuf-2.5.0目录,执行下面的命令

./configure

make

make check

make install

可以通过protoc –version来查看是否安装正常

4.安装cmake

下载 wget http://www.cmake.org/files/v2.8/cmake-2.8.12.2.tar.gz

解压 tar -zxvf cmake-2.8.12.2.tar.gz 

进入cmake-2.8.12.2目录,执行下面的命令

./bootstrap

make

make install

可以通过cmake –version来查看是否安装正常

5.安装autotool

yum install autoconf automake libtool

6.安装openssl-devel

yum install openssl-devel

7.网上有说可能还需要findingbugs

如果需要可以自己去下载,解压并配置环境变量即可。

http://sourceforge.jp/projects/sfnet_findbugs/downloads/findbugs/3.0.0/findbugs-3.0.0-dev-20131204-e3cbbd5.tar.gz/

二、编译haodoop:

1.下载源码包hadoop-2.2.0-src.tar.gz并解压

wget http://apache.mirrors.pair.com/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz

tar -zxvf hadoop-2.2.0-src.tar.gz

注:参考的博客中说源码有问题需要修改,但笔者并未修改也编译成功了,有需要的可以参考

http://www.linuxidc.com/Linux/2014-01/95938.htm

2.进入hadoop-2.2.0-src目录,执行

mvn clean package -Pdist,native -DskipTests -Dtar

接下来就是漫长的等待,当你看到一系列的SUCCESS之后,你就成功了。

3.编译好的hadoop-2.2.0.tar.gz在hadoop-2.2.0-src木目录下的hadoop-dist/target/的目录中,接下来就可以安装了。

4.如果在编译过程中报错,缺少的包或者软件可以自己去网上找。

  • 参考:
http://www.linuxidc.com/Linux/2014-01/95938.htm
0 0