initial job has not accepted any resources的spark错误解决办法

来源:互联网 发布:手机照相摄像软件 编辑:程序博客网 时间:2024/06/04 19:07

在运行多个spark应用程序的时候,经常会出现initial job has not accepted any resources的错误。


而如果用spark-submit方式提交的话,经常是结果不显示。而在监控网页上看到的是状态一直在waiing.如下所示。



经过仔细检查,发现是CORES的问题,由于之前的程序将CORES全部占用,而后来的任务没有足够的CPU来支撑,因此只能在WAITING。


因此只需要在RUN之前进行核数配置就可以。

0 0
原创粉丝点击