Spark On Yarn 提交任务报错ERROR SparkContext: Error initializing SparkContext.
来源：互联网 发布：new event js 编辑：程序博客网 时间：2024/05/20 07:35
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client $SPARK_HOME/examples/jars/spark-examples_2.11-2.2.0.jar 100
出现的错误如下：
ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.
在hadoop ui上查看任务详情
2.2g的虚拟内存实际值，超过了2.1g的上限，所以contrainer被杀死了
解决：在yarn-site.xml中加入配置
<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>重启Hadoop和spark重新提交
阅读全文
0 0
- Spark On Yarn 提交任务报错ERROR SparkContext: Error initializing SparkContext.
- 忽然遇到报错：ERROR spark.SparkContext: Error initializing SparkContext.
- 坑爹的问题，Spark On Yarn ERROR spark.SparkContext: Error initializing SparkContext.
- ERROR spark.SparkContext: Error initializing SparkContext
- scala中spark错误 Error initializing SparkContext
- Spark连接HBase操作异常处理ERROR spark.SparkContext: Error initializing SparkContext. java.lang.SecurityExcep
- mac 出现Error initializing SparkContext
- ERROR spark.SparkContext: Error initializing SparkContext. java.net.BindException: Cannot assign req
- ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memo
- spark Error initializing SparkContext System memory 466092032 must be at least 471859200.
- Spark如何在一个SparkContext中提交多个任务
- 安装spark on yarn error
- SparkContext
- SparkContext
- spark on yarn报错ERROR GPLNativeCodeLoader: Could not load native gpl library
- Spark on Yarn：任务提交参数配置
- spark 之 SparkContext
- 【Spark】SparkContext源码解读
- Spring整合Mybatis（二）------增加事务管理（编程的方式）
- CentOS配置Google 动态认证，以及认证失败解决办法
- Linux下对lvm逻辑卷分区大小的调整（针对xfs和ext4不同文件系统）
- linux 查看用户的uid,gid
- 2.1.3 Sorting a Three-Valued Sequence 三值的排序
- Spark On Yarn 提交任务报错ERROR SparkContext: Error initializing SparkContext.
- 视觉SLAM资料
- python读写文件中文问题
- Request笔记
- 多线程经典面试题
- 1046. 划拳(15)
- java 编程思想--第一章（对象导论）
- 关于LVS+Nginx为什么会被同时使用的思考
- Kotlin中的构造函数
