executor-cores参数并未对vcores生效的原因分析
来源:互联网 发布:苏州网络招募中心 编辑:程序博客网 时间:2024/06/08 09:12
虽然目前大多数平台内置Application在提交时,只配置了–num-executors和–executor-memory参数,但是其他APP的开发者可能会配置–executor-cores参数。
举个例子:
./Spark-submit –master yarn-client –executor-cores 4 –num-executors 6 –executor-memory 10g –driver-memory 2g –class xxxApp xxJar –jars $SPARK_HOME/lib/postgresql-9.4-1201.jdbc41.jar
即有6个executor,每个executor的cores数目为4。不过当你提交任务时,你一定会非常吃惊,因为yarn 8088上展示的vcores会是7。看起来就像是参数设置并未生效一样。
其实这是因为我们的capacity schedule使用的是DefaultResourceCalculator,那么DefaultResourceCalculator它在加载Container时其实仅仅只会考虑内存而不考虑cores。所以,如果我们想让它既考虑内存也考虑cores的话,需要将$HADOOP_HOME/etc/Hadoop/capacity-scheduler.xml
中的:
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
</property>
修改为:
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>
请注意每个节点的配置文件都需要修改。并且重启hadoop。
这是再提交spark application,vcores use的数目就对了。
25=4*6+1
另外,如果不期望在命令中写executor-cores参数,可以在$SPARK_HOME/conf/spark-env.sh里配置:
export SPARK_EXECUTOR_CORES=4
这样默认executor-cores就为4了。
- executor-cores参数并未对vcores生效的原因分析
- executor-cores参数并未对vcores生效的原因分析
- spark参数executor-cores引起的异常
- queryTimeout对Cobar不生效的原因
- QEMU中smp,socket,cores,threads几个参数的理解
- FormsAuthentication.SignOut() 后,并未真正退出的原因
- Flume的hdfsSink的roll参数不生效的原因(日志上传hdfs)
- netty源码分析(二)Netty对Executor的实现机制源码分析
- Executor框架的简要分析
- HttpURLConnection取不得参数的原因分析
- cores
- 【Linux】limits.conf 不重启就生效或者不生效的原因
- spark源码学习(二)---Master源码分析(3)-master对driver、executor的调度
- python logging.basicConfig不生效的原因
- js事件不生效的原因
- 开启关闭功能没有生效的原因
- Solr配置maxBooleanClauses属性不生效原因分析
- spring+mybatis使用事务管理不生效原因分析
- react组件的生命周期
- 傅立叶分析和小波分析之间的关系(通俗解释)
- hdu 6060 RXD and dividing 2017多校第三场第五题(思维+dfs)
- Dubbo分布式框架学习(2)
- ConcurrentHashMap实现原理
- executor-cores参数并未对vcores生效的原因分析
- Python break 语句
- 记录oracle 多行合并成一行(备忘)
- 手机照片和通讯录误删了怎么办?用这个方法能让你迅速找回!
- Echarts集装报表
- android系统目录system/framework下各个jar包的用途
- POJ2337 Catenyms【欧拉回路】
- HDU 6090 Rikka with Graph(规律)
- python 中sorted()函数