spark on yarn的cpu使用

   在yarn-site.xml中，可以配置virutal core的个数，请注意不是physical core的个数，相关配置如下：

<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>30</value>
  <description>NodeManager总的可用虚拟CPU个数</description>

</property>

virutal core的概念是将所有physical cpu组成8个可调度的队列，linux使得有任务的时候每个physical cpu都能够调度，达到负载均衡。假设一台pc有16个physical cpu，当只有一个container的时候，这个container会使用这16个cpu，如果有2个container则每个container各占用8个physical cpu

spark运行的时候，通过--executor-cores指定的cpu个数都是vcore的个数，所以spark on yarn运行程序的时候，虽然通过--executor-cores指定vcore个数为1，但是所有的cpu都是很忙被占用。

    yarn默认情况下，只根据内存调度资源，所以spark on yarn运行的时候，即使通过--executor-cores指定vcore个数为N，但是在yarn的资源管理页面上看到使用的vcore个数还是1. 相关配置在capacity-scheduler.xml 文件：

[html] view plain copy

1. <property>  
2.     <name>yarn.scheduler.capacity.resource-calculator</name>  
3.     <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>  
4.     <description>  
5.       The ResourceCalculator implementation to be used to compare  
6.       Resources in the scheduler.  
7.       The default i.e. DefaultResourceCalculator only uses Memory while  
8.       DominantResourceCalculator uses dominant-resource to compare  
9.       multi-dimensional resources such as Memory, CPU etc.  
10.     </description>  
11.   </property>  

要想--executor-cores的是指起效，得修改这项配置为：

[html] view plain copy

1. <property>  
2.   <name>yarn.scheduler.capacity.resource-calculator</name>  
3.   <!-- <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value> -->  
4.   <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>  
5. </property>  

 这样就可以起效果了

cpu调度的时候，需要启动CGroups机制来达到cpu进程隔离的效果，但是windows不支持CGroups机制

需要验证，不知出处