spark下使用submit提交任务后报jar包已存在错误
来源:互联网 发布:centos官方网站 编辑:程序博客网 时间:2024/04/30 15:19
使用spark submit进行任务提交,离线跑数据,提交后的一段时间内可以application可以正常运行。过了一段时间后,就抛出以下错误:
org.apache.spark.SparkException: File ./myapplication.jar exists and does not match contents of http://10.28.139.44:33084/jars/myapplication.jar
然后application停止工作。
究其原因,是spark的work目录下存储的临时数据过大、新提交的application产生的临时数据无法写入导致的。而spark并没有主动去清理这些临时文件,最终导致目录下文件写满了,新提交的application就没有写入临时数据了。
解决方法:
1、临时解决方法:将spark/work目录下的文件手动删除,之后重新提交application就可以了。
2、修改spark配置文件:在spark-env.sh中加入如下内容
SPARK_WORKER_OPTS=”-Dspark.worker.cleanup.enabled=true”
这样,spark会自动清除已经停止运行的application的文件夹。如果是application一直在运行的话,就会持续向work目录写数据,这样work目录下的文件还是会越来越大 并最终无法写入。因此最好是以上两个方法同时使用,定期手工清理work目录下的文件。
0 0
- spark下使用submit提交任务后报jar包已存在错误
- Spark集群中使用spark-submit提交jar任务包实战经验
- 蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验
- 使用spark-submit提交jar包到spark standalone集群(续)
- Spark任务提交jar包依赖解决方案
- Spark任务提交jar包依赖解决方案
- Spark任务提交jar包依赖解决方案
- Spark任务提交jar包依赖解决方案
- Spark任务提交jar包依赖解决方案
- spark-submit提交jar包到集群找不到主类
- 【Spark系列6】spark submit提交任务
- Spark-submit提交任务到集群
- spark-submit提交任务的方式
- spark-submit提交任务到集群-案例
- spark-submit提交任务到集群
- spark-submit提交任务的方式
- 关于spark-submit 使用yarn-client客户端提交spark任务的问题
- spark-submit运行jar包脚本命令
- LLVM/clang & lib路径 & 测试代码
- 责任链设计模式(过滤器、拦截器)
- html5的网页在MAC及ipad上按钮无法正常切换的处理
- 2016太原网络营销师sem(百度竞价)账户搭建问题解剖?
- 悲观锁及乐观锁的引用
- spark下使用submit提交任务后报jar包已存在错误
- hdu2028 Lowest Common Multiple Plus
- 关于函数调用方式`__stdcall`和`__cdecl`
- 【炼数成金-推荐系统笔记】
- LeetCode 203. Remove Linked List Elements 解题报告
- 基本语句的综合运用
- solr-4.10.4环境搭建+导入数据库+中文分词
- Mac OS X Yosemite 10.10.5使用Toolbox安装Docker
- 记录心情——机房重构的开始