解决IDEA调试Hadoop程序中无法加载本地库的问题

来源:互联网 发布:pd11 for mac 破解版 编辑:程序博客网 时间:2024/06/05 22:55

解决IDEA调试Hadoop程序中无法加载本地库的问题

在调试运行Hadoop的读取输出压缩数据的时候由于时使用Maven构建的Hadoop项目,然后用IDEA调试开发,在调试过程中发现无法报如下错误:

SequenceFile doesn't work with GzipCodec without native-hadoop code!

这是因为Idea在调试运行的过程中无法加载Hadoop的本地库文件,Hadoop的本地文件位于

$HADOOP_HOME/lib/native

文件夹下面.
用以下代码查看Idea运行时搜索的库

System.out.println(System.getProperty("java.library.path"));

我的输出如下:

/usr/local/idea/idea-IU-171.4249.32/bin::/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib

将上面所诉的native文件夹下的所有文件拷贝到所输出的任意一个文件夹下,如果本地没有可以新建一个文件夹
例如我的/usr/下面并没有lib64文件夹,因此我新建了一个名为lib64的文件夹,然后将native下所有的文件拷贝到该文件夹下面.再次运行不再报错.

阅读全文
1 0
原创粉丝点击