spark jvm参数配置
来源:互联网 发布:票乎下载 编辑:程序博客网 时间:2024/06/05 22:56
对于-Xmx,-Xms ,
yarn-client模式,则默认读取spark-env文件中的SPARK_DRIVER_MEMORY参数值;
yarn-cluster模式,则默认读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值。
对于PermSize,
yarn-client模式,则是默认读取spark-class文件中的JAVA_OPTS设置的值;
yarn-cluster模式,则默认读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值。
对于GC方式,
yarn-client模式,则默认读取的是spark-class文件中的JAVA_OPTS设置的值;
yarn-cluster模式,则默认读取的是spark-default.conf文件中的值
注意,如果想改变值,则可通过在spark-submit时添加--conf "spark.driver.extraJavaOptions=${java_options}"
此外,spark-submit命令行提交时如果使用了参数--driver-java-options,则将覆盖上面的设置值
--driver-java-options "${java_options}" \
2.Executor端的JVM参数:
对于-Xmx,-Xms,
yarn-client模式,则默认读取spark-env文件中的SPARK_EXECUTOR_MEMORY值,
yarn-cluster模式,则默认读取的是spark-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
对于PermSize,
yarn-client模式,则默认读取park-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
yarn-cluster模式,则默认读取park-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
对于GC方式,
yarn-client模式,则默认读取park-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
yarn-cluster模式,则默认读取park-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
最后需要注意的是在用spark-submit提交job的时候最好把jar放在参数最后,如spark-submit xxxx jarname
- spark jvm参数配置
- spark-05-spark 配置参数
- jvm 常用JVM配置参数
- Spark配置参数
- Spark配置参数
- Spark参数有效配置
- Spark配置参数详解
- Spark配置参数
- spark参数配置
- Spark配置参数
- Spark参数配置
- Spark配置参数
- Spark参数配置
- Spark配置参数说明
- Spark配置参数详解
- Spark参数配置
- JVM参数配置
- JVM参数配置
- BootStrap:css前端框架
- c++中pair的学习
- 标准模板库
- 设计模式(抽象工厂类)
- 远程服务器不是已知的tcp/ip主机
- spark jvm参数配置
- HashMap 深入分析
- Java总结篇系列:java.lang.Object
- sqlite3 插入中文---笔记
- STM32 串口的TXE和TX位说明
- Android开发-如何在Window使用AndroidStudio开发工具实现JNI的开发—入门教程
- ssh框架搭建
- PL/SQL导出dmp文件,Oracle11g遇见空表无法导出的问题
- jQuery之$(document).ready()使用介绍