NativeCodeLoader: Unable to load native-hadoop library for your platform

转载：http://blog.csdn.net/xichenguan/article/details/38797331

至今为止，搭建的所有集群里都有这个错误：

[html] view plaincopy

1. 14/08/24 05:07:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  

断断续续地尝试了网上的所有方法，就是觉得比较靠谱的，按照步骤，也没成功过。

今天到公司无偿加班，完成自定任务后，又尝试着解决这个问题，竟然Okay了。

1.系统是64位的；JDK是64位的；hadoop本地库也是64位的，自己编译的。

2.打开hadoop控制台debug输出

[html] view plaincopy

1. export HADOOP_ROOT_LOGGER=DEBUG,console  

看到下面的相关输出：

[html] view plaincopy

1. 14/08/24 05:14:14 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...  
2. 14/08/24 05:14:14 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path  
3. 14/08/24 05:14:14 DEBUG util.NativeCodeLoader: java.library.path=/opt/hadoop-2.4.1/lib  
4. 14/08/24 05:14:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  

1）no hadoop in java.library.path：在java的本地库路径中没有找到hadoop的本地库

2）java.library.path=/op/hadoop-2.4.1/lib ：本地库路径是/op/hadoop-2.4.1/lib

去/op/hadoop-2.4.1/lib路径下面查看，只一个native目录，native目录下面才是hadoop的本地库。

3.想到之前在网上找答案的时候，有个版本是让在环境变量加上下面这两句话：

[html] view plaincopy

1. export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native    
2. export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"    

第一个配置应该是没有问题

就是第二个的事了，将第二个配置改成：

[html] view plaincopy

1. export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"  

启动NameNode，然后运行一个命令看看：

[html] view plaincopy

1. 14/08/24 05:47:13 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...  
2. 14/08/24 05:47:13 DEBUG util.NativeCodeLoader: Loaded the native-hadoop library  

debug出现这样的信息，NameNode已经可以了。4.但是发现所有的DataNode机器，还是不行，Debug信息如下：

[html] view plaincopy

1. 14/08/24 05:26:37 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...  
2. 14/08/24 05:26:37 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path  
3. 14/08/24 05:26:37 DEBUG util.NativeCodeLoader: java.library.path=/opt/hadoop-2.4.1/lib/native  
4. 14/08/24 05:26:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  

从上面的debug信息可以看出，改的java.library.path生效了，但是还是显示路径中没有找到。

5.hadoop本地库明明就在native目录下面，亲眼看见的，NameNode也生效了，怎么在DataNode节点的机器上就找不到！！

没办法了，看源码吧，在org.apache.hadoop.util.NativeCodeLoader.java中有这样一段代码

[html] view plaincopy

1. static {  
2.   // Try to load native hadoop library and set fallback flag appropriately  
3.   if(LOG.isDebugEnabled()) {  
4.     LOG.debug("Trying to load the custom-built native-hadoop library...");  
5.   }  
6.   try {  
7.     System.loadLibrary("hadoop");  
8.     LOG.debug("Loaded the native-hadoop library");  
9.     nativeCodeLoaded = true;  
10.   } catch (Throwable t) {  
11.     // Ignore failure to load  
12.     if(LOG.isDebugEnabled()) {  
13.       LOG.debug("Failed to load native-hadoop with error: " + t);  
14.       LOG.debug("java.library.path=" +  
15.           System.getProperty("java.library.path"));  
16.     }  
17.   }  
18.     
19.   if (!nativeCodeLoaded) {  
20.     LOG.warn("Unable to load native-hadoop library for your platform... " +  
21.              "using builtin-java classes where applicable");  
22.   }  
23. }  

发现代码中加载的类库的名字是hadoop，也就是在linux操作系统上，这个文件的名是libhadoop.so。

6.去native目录下面ll一下：

[html] view plaincopy

1. -rw-r--r-- 1 root root  971954 Aug 23 23:28 libhadoop.a  
2. -rw-r--r-- 1 root root 1487284 Aug 23 23:28 libhadooppipes.a  
3. -rwxr-xr-x 1 root root  0      Aug 24 05:41 libhadoop.so  
4. -rwxr-xr-x 1 root root  584656 Aug 23 23:28 libhadoop.so.1.0.0  
5. -rw-r--r-- 1 root root  582040 Aug 23 23:28 libhadooputils.a  
6. -rw-r--r-- 1 root root  298170 Aug 23 23:28 libhdfs.a  
7. -rwxr-xr-x 1 root root  0      Aug 24 05:41 libhdfs.so  
8. -rwxr-xr-x 1 root root  200018 Aug 24 04:43 libhdfs.so.0.0.0  

发现有这个文件，libhadoop.so。但是大小是0.

7.就去NameNode端的native目录下面看一下，发现是这样的：

[html] view plaincopy

1. -rw-rw-r-- 1 hdfs hadoop  971954 Jul 30 07:47 libhadoop.a  
2. -rw-rw-r-- 1 hdfs hadoop 1487284 Jul 30 07:47 libhadooppipes.a  
3. lrwxrwxrwx 1 hdfs hadoop      18 Aug 23 22:11 libhadoop.so -> libhadoop.so.1.0.0  
4. -rwxrwxr-x 1 hdfs hadoop  584656 Jul 30 07:47 libhadoop.so.1.0.0  
5. -rw-rw-r-- 1 hdfs hadoop  582040 Jul 30 07:47 libhadooputils.a  
6. -rw-rw-r-- 1 hdfs hadoop  298170 Jul 30 07:47 libhdfs.a  
7. lrwxrwxrwx 1 hdfs hadoop      16 Aug 23 22:11 libhdfs.so -> libhdfs.so.0.0.0  
8. -rwxrwxr-x 1 hdfs hadoop  200018 Jul 30 07:47 libhdfs.so.0.0.0  

原来是个符号链接文件。

应该就是问题所在了，于是将DataNode端的libhadoop.so和libhdfs.so删除，然后重做符号链接。就可以了。

8.总结一下，就是有3个地方需要注意：

1）OS位数，JDK位数，Hadoop本地库位数要一致

2）配置java.library.path能够找到Hadoop的本地库。

3）Hadoop自己要找的本地库的名字是libhadoop.so这个文件，确保有这个文件，这个文件时libhadoop.so.1.0.0这个文件的软链接，libhdfs.so也是同样的情况