Spark学习笔记之-Spark on yarn(动态资源调度)
来源:互联网 发布:阴茎 身高 知乎 编辑:程序博客网 时间:2024/06/13 23:33
对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行 的服务(比如Thrift Server),若分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源张,这就造成了很大的资源浪费和资源不合理的调度。
动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减 Executor个数,从而实现动态分配资源,使整个Spark系统更加健康。
配置步骤:
1. 需要先配置External shuffle service。参见spark on yarn(External shuffle service)配置
2. 在“spark-defaults.conf”中必须添加配置项“spark.dynamicAllocation.enabled”,并将该参数的值设置为“true”,表示开启动态资源调度功能。默认情况下关闭此功能。
3. 根据情况配置一些可选参数
以下是基本配置参考
可选参数说明:spark.shuffle.service.enabled true 配置External shuffle Service服务(一定要配置启用)spark.shuffle.service.port 7337spark.dynamicAllocation.enabled true 启用动态资源调度spark.dynamicAllocation.minExecutors 3 每个应用中最少executor的个数spark.dynamicAllocation.maxExecutors 8 每个应用中最多executor的个数
配置项 说明 默认值
spark.dynamicAllocation.minExecutors 最小Executor个数。 0
spark.dynamicAllocation.initialExecutors 初始Executor个数。 spark.dynamicAllocation.minExecutors
spark.dynamicAllocation.maxExecutors 最大executor个数。 Integer.MAX_VALUE
spark.dynamicAllocation.schedulerBacklogTimeout 调度第一次超时时间。 1(s)
spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 调度第二次及之后超时时间。 spark.dynamicAllocation.schedulerBacklogTimeout
spark.dynamicAllocation.executorIdleTimeout 普通Executor空闲超时时间。 60(s)
spark.dynamicAllocation.cachedExecutorIdleTimeout 含有cached blocks的Executor空闲超时时间。spark.dynamicAllocation.executorIdleTimeout的2倍
说明
1. 使用动态资源调度功能,必须配置External Shuffle Service。如果没有使用External Shuffle Service,Executor被杀时会丢失shuffle文件。
2. 配置了动态资源调度功能,就不能再单独配置Executor的个数,否则会报错退出。
3. 使用动态资源调度功能,能保证最少的executor的个数(spark.dynamicAllocation.minExecutors)
0 0
- Spark学习笔记之-Spark on yarn(动态资源调度)
- Spark on Yarn资源调度源码解析
- Spark-on-YARN (来自学习笔记)
- Spark学习之14:Spark on Yarn
- Spark学习笔记之-Spark on yarn(External Shuffle Service)
- Spark学习笔记之-Spark on yarn(External Shuffle Service)
- Spark on YARN 笔记
- spark on yarn 应用笔记
- Spark源码学习(9)——Spark On Yarn
- Spark on Yarn 学习(一)
- Spark on yarn CapacityScheduler中的ResourceCalculator(资源计算器)
- spark学习九 yarn平台及spark on yarn
- Spark2.x学习笔记:5、Spark On YARN模式
- spark-03-spark on yarn
- Spark on Yarn部署
- Spark on Yarn
- spark on yarn
- spark on yarn
- 51.TCP Socket服务器编程
- 50种遍历树的方法
- RCFProto及编译
- 52. stringByAppendingPathComponent和stringByAppendingString的区别
- 相关博文链接
- Spark学习笔记之-Spark on yarn(动态资源调度)
- 软工之开发阶段
- JSTL标签 参考手册
- C语言文件操作1
- 香蕉派 Bananapi M2 安装wiringpi
- navigationController隐藏问题
- chrome模拟IE运行ActiveX控件
- 解析Cloudera Manager内部结构、功能包括配置文件、目录位置等
- Java多线程之常用方法