解决Hadoop和Spark本地版本库不统一的问题
来源:互联网 发布:巨灵数据库 编辑:程序博客网 时间:2024/06/16 08:01
就是报以下这个警告的,也不知道对运行程序究竟会产生什么样的影响,但看着就是不爽,还耽误了我几天时间,把它给解决了,这里记一下,方便以后查找。
unable to load native-hadoop library for your platform... using builtin-java classes where applicable
先是运行Hadoop的时候报该错误,当时发现是由于Hadoop所需要的版本库和系统本地的glibc的版本库不一致导致的,但是有一个问题是系统本地库的地址是在根目录的lib和lib64下面,由于对服务器没有root权限,是无法修改该库的版本的,因此到这里,网上说的大部分解决方案都不行了。
既然不能修改本地库,那就考虑修改环境变量中的PATH,PATH路径要保证读的库地址要在本地库地址路径的前面,因为PATH只要找到结果就会返回,那么我们就把路径/home/work/lacol/加进去并放在前面。
我们需要自己编译一个合适的版本库,例如编译到/home/work/local/glibc目录中,然后把该目录同步到其他相同的服务器,然后用软链接,注意在集群上批量执行该命令:
ln -s /home/work/local/glibc/libc.so /home/work/local/lib64/libc.so.6
以上就解决了Hadoop的版本库的问题,可是打开Spark,发现Spark还报版本库的错误,网上给的该解决方案并不能解决该问题,后来在spark-env.sh中增加了lib64
的地址,最终边为如下:
export LD_LIBRARY_PATH=$SPARK_SUBMIT_LIBRARY_PATH:$HADOOP_HOME/lib/native:/home/work/local/lib/:/home/work/local/lib64/
再SCP到所有集群上面,遂解决。
0 0
- 解决Hadoop和Spark本地版本库不统一的问题
- spark的安装部署--10(源码编译安装hadoop+spark+解决64位系统本地库问题)
- svn版本不统一的问题
- 解决hbase和hdfs的hadoop版本不兼容问题
- 解决Oledb连接Excel数据类型不统一的问题
- 定制带第三方库的python,解决spark/hadoop环境中sklearn的调用问题
- 在opencv2.4.x版本中处理图像EXIF orientation不统一的问题
- Android Studio 导入项目时gradle版本不统一的问题
- 解决Hadoop 2.7.1无法加载本地库问题
- 解决ise版本与仿真库版本不兼容的问题
- 解决IDEA调试Hadoop程序中无法加载本地库的问题
- hadoop的版本问题
- 实现ServletContextListener解决项目资源访问路径不统一的问题
- 解决html中 在不同浏览器中占位大小不统一的问题
- 如何解决android studio导入其他工程gradle不统一的问题
- 前后端分离 SSM 统一异常处理 解决404不被拦截的问题
- 关于使用“Hadoop free”版本的Spark
- 编译特定hadoop版本的spark
- 吝啬的国度
- 目标的设定和坚持
- 【HDU 5739】Fantasia(点双连通+dfs)
- C/C++中生成动态库和静态库的方法
- java序列化
- 解决Hadoop和Spark本地版本库不统一的问题
- hdu 1200
- Linux值得拥有的性能监控工具
- Android 设置闹钟的解决方案
- MySQL优化之二--存储引擎
- hdu2119 Matrix
- lua 语法
- 深度学习在搜狗无线搜索广告中的应用
- 老毛桃 是否好用