解决Unable to load native-hadoop library for your platform

来源:互联网 发布:测帧数软件 编辑:程序博客网 时间:2024/06/06 00:01

在spark集群中运行sparkPi示例出现:Unable to load native-hadoop library for your platform... using builtin-Javaclasses where applicable警告

下面为解决方法:


首先找到对应自己hadoop版本的64位的lib包,可以自己手动去编译,但比较麻烦,也可以去网上找,好多都有已经编译好了的。

将准备好的64位的lib包解压到已经安装好的hadoop的lib目录下:

[hadoop@hadoopTest ~]$ tar -xvf hadoop-native-64-2.4.1.tar -C hadoop-2.4.1/lib

注意,是lib目录,而不是lib下的native目录下,这个问题整了我好久。

然后增加环境变量:

[hadoop@hadoopTest hadoop-2.4.1]$ vi ~/.bash_profile

增加下面的内容:

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

让环境变量生效:

[hadoop@hadoopTest hadoop-2.4.1]$ source ~/.bash_profile

启动hadoop,发现警告消除了,成功。



转发至:http://blog.csdn.net/succeedloveaaaa/article/details/48596857

0 0