spark on yarn的cpu使用
2017-12-13 11:08
357 查看
在yarn-site.xml中,可以配置virutal core的个数,请注意不是physical core的个数,相关配置如下:
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>30</value>
<description>NodeManager总的可用虚拟CPU个数</description>
</property>
virutal core的概念是将所有physical cpu组成8个可调度的队列,linux使得有任务的时候每个physical cpu都能够调度,达到负载均衡。假设一台pc有16个physical cpu,当只有一个container的时候,这个container会使用这16个cpu,如果有2个container则每个container各占用8个physical cpu
spark运行的时候,通过--executor-cores指定的cpu个数都是vcore的个数,所以spark on yarn运行程序的时候,虽然通过--executor-cores指定vcore个数为1,但是所有的cpu都是很忙被占用。
yarn默认情况下,只根据内存调度资源,所以spark on yarn运行的时候,即使通过--executor-cores指定vcore个数为N,但是在yarn的资源管理页面上看到使用的vcore个数还是1. 相关配置在capacity-scheduler.xml 文件:
[html] view
plain copy
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
<description>
The ResourceCalculator implementation to be used to compare
Resources in the scheduler.
The default i.e. DefaultResourceCalculator only uses Memory while
DominantResourceCalculator uses dominant-resource to compare
multi-dimensional resources such as Memory, CPU etc.
</description>
</property>
要想--executor-cores的是指起效,得修改这项配置为:
[html] view
plain copy
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<!-- <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value> -->
<value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>
这样就可以起效果了
cpu调度的时候,需要启动CGroups机制来达到cpu进程隔离的效果,但是windows不支持CGroups机制
需要验证,不知出处
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>30</value>
<description>NodeManager总的可用虚拟CPU个数</description>
</property>
virutal core的概念是将所有physical cpu组成8个可调度的队列,linux使得有任务的时候每个physical cpu都能够调度,达到负载均衡。假设一台pc有16个physical cpu,当只有一个container的时候,这个container会使用这16个cpu,如果有2个container则每个container各占用8个physical cpu
spark运行的时候,通过--executor-cores指定的cpu个数都是vcore的个数,所以spark on yarn运行程序的时候,虽然通过--executor-cores指定vcore个数为1,但是所有的cpu都是很忙被占用。
yarn默认情况下,只根据内存调度资源,所以spark on yarn运行的时候,即使通过--executor-cores指定vcore个数为N,但是在yarn的资源管理页面上看到使用的vcore个数还是1. 相关配置在capacity-scheduler.xml 文件:
[html] view
plain copy
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
<description>
The ResourceCalculator implementation to be used to compare
Resources in the scheduler.
The default i.e. DefaultResourceCalculator only uses Memory while
DominantResourceCalculator uses dominant-resource to compare
multi-dimensional resources such as Memory, CPU etc.
</description>
</property>
要想--executor-cores的是指起效,得修改这项配置为:
[html] view
plain copy
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<!-- <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value> -->
<value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>
这样就可以起效果了
cpu调度的时候,需要启动CGroups机制来达到cpu进程隔离的效果,但是windows不支持CGroups机制
需要验证,不知出处
相关文章推荐
- spark on yarn的cpu使用
- Spark On YARN内存和CPU分配
- AWS EMR Spark on yarn 使用记录
- Spark On YARN内存和CPU分配
- idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行(可以使用)
- Spark On YARN使用时上传jar包过多导致磁盘空间不够。。。
- Spark On YARN 集群安装部署
- spark on yarn的技术挑战及存在的问题
- spark on yarn图形化任务监控利器:History-server帮你理解spark的任务执行过程
- Apache Spark源码走读之8 -- Spark on Yarn
- Spark on Yarn:任务提交参数配置
- sparkR在spark on yarn下的问题
- spark on yarn 安装笔记
- Spark 1.0.0 横空出世 Spark on Yarn 部署(Hadoop 2.4)
- Spark on Yarn遇到的问题及解决思路
- spark on yarn,Initial job has not accepted any resources
- Spark On Yarn 详细配置流程
- SparkSQL On Yarn with Hive,操作和访问Hive表
- Spark On Yarn:提交Spark应用程序到Yarn
- Spark on yarn 提交应用的方式