spark on yarn运行产生缺jar包错误及解决办法
来源:互联网 发布:青果软件 漏洞 编辑:程序博客网 时间:2024/06/04 22:42
1.问题描述:
使用spark 集成elasticSearch时,--jars 来添加依赖的jar包,使用local模式程序正常,使用yarn模式时会出现找不到jar包的情况。报错信息如下:
1.java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecutor()Ljava/util/concurrent/Executor
2.Elasticsearch Java API from web application-error: java.lang.NoClassDefFoundError: Could not initialize class org.elasticsearch.threadpool.ThreadPool
3.java.lang.NoSuchFieldError: LUCENE_5_5_2
2.解决办法:
提交参数添加 --conf spark.executor.extraClassPath=$spark_jars参考:http://blog.csdn.net/u010454030/article/details/70054822
0 0
- spark on yarn运行产生缺jar包错误及解决办法
- spark on yarn运行产生缺jar包错误及解决办法
- spark on yarn运行产生缺jar包错误及解决办法
- spark on yarn作业运行的jar包缓存优化
- spark on yarn作业运行的jar包缓存优化
- spark on yarn作业运行的jar包缓存优化
- spark on yarn作业运行的jar包缓存优化
- Spark on Yarn解密及运行流程
- Spark on Yarn运行测试
- spark任务运行及jar包
- Spark -6:运行Spark on YARN
- Spark On Yarn中spark.yarn.jar属性的使用
- 缓存jar包来提升spark on Yarn job的提交速度
- idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行
- idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行
- Spark on YARN两种运行模式
- spark on yarn 的运行模式
- Spark on Yarn的运行原理
- jQuery插件开发初步练习
- Python-while循环
- 2017SDUT期末机试——素数链表
- 1
- android -- 蓝牙 bluetooth (四)OPP文件传输
- spark on yarn运行产生缺jar包错误及解决办法
- 连号区间数
- 2
- [NTT] 快速数论变换学习笔记
- 串口工具SecureCRT不能输入命令
- Protocol Buffer
- ubuntu16.10下安装erlang和RabbitMQ
- ZOJ
- FFmpeg