简单总结spark中executer的个数设置
来源:互联网 发布:郑州seo服务公司 编辑:程序博客网 时间:2024/05/29 18:34
1.standlone模式下
公式:execuoterNum = spark.cores.max/spark.executor.cores
相关参数在启动具体应用时指定
例如启动基于standlone模式的spark sql的thrift 接口时 设置 这两个参数
--total-executor-cores--executor-cores
它们共同决定了当前应用 启动executor的个数
$SPARK_HOME/sbin/start-thriftserver.sh --executor-memory 20g --driver-memory 6g --total-executor-cores 288 --executor-cores 2
2.在yarn模式下
直接指定 –num-executors 这个参数
例如
$SPARK_HOME/bin/spark-submit --master yarn --deploy-mode cluster --class you.class.Name - -executor-memory 1g --executor-cores 1 --num-executors 8 --driver-memory 2g /you/jar.jar
0 0
- 简单总结spark中executer的个数设置
- spark 运行模式的简单总结
- spark中可以影响到结果partition个数的操作
- sql中设置字段的显示个数
- spark编程中设置hadoop的属性
- spark中tasks数量的设置
- Spark调优简单总结
- Hadoop中map和reduce个数的设置
- mapreduce中reducers个数设置
- php中替换设置个数
- WINCE设置简单的情景模式总结篇~
- 在Spark集群中,集群的节点个数、RDD分区个数、cpu内核个数三者与并行度的关系??
- 在Spark集群中,集群的节点个数、RDD分区个数、cpu内核个数三者与并行度的关系??
- 在程序中设置spark applicaton的属性
- c# 编程 简单实现11个数中选择不重复出现的5个数。
- 剑指offer(二进制中1的个数)总结
- spark的一点总结
- Spark 的总结
- Spring AOP详解
- android shape
- iOS 网络请求(AFNetworking)失败的错误码分析
- HttpServletResponse报错解决方案
- thinkphp自定义404页面
- 简单总结spark中executer的个数设置
- Fragment与Fragment、Activity通信的四种方式(二)
- 获取sha1码
- hadoop分布式模式的安装和配置
- 在阿里云上搭建svn
- 一个用java模拟ATM操作的小程序
- PHP邮件群发程序
- AppCompatActivity
- Bzoj 2002 弹飞绵羊