executor-cores参数并未对vcores生效的原因分析
2017-08-09 11:16
316 查看
虽然目前大多数平台内置Application在提交时,只配置了–num-executors和–executor-memory参数,但是其他APP的开发者可能会配置–executor-cores参数。
举个例子:
./Spark-submit –master yarn-client –executor-cores 4 –num-executors 6 –executor-memory
10g –driver-memory 2g –class xxxApp xxJar –jars $SPARK_HOME/lib/postgresql-9.4-1201.jdbc41.jar
即有6个executor,每个executor的cores数目为4。不过当你提交任务时,你一定会非常吃惊,因为yarn 8088上展示的vcores会是7。看起来就像是参数设置并未生效一样。
其实这是因为我们的capacity schedule使用的是DefaultResourceCalculator,那么DefaultResourceCalculator它在加载Container时其实仅仅只会考虑内存而不考虑cores。所以,如果我们想让它既考虑内存也考虑cores的话,需要将$HADOOP_HOME/etc/Hadoop/capacity-scheduler.xml
中的:
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
</property>
修改为:
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>
请注意每个节点的配置文件都需要修改。并且重启hadoop。
这是再提交spark application,vcores use的数目就对了。
25=4*6+1
另外,如果不期望在命令中写executor-cores参数,可以在$SPARK_HOME/conf/spark-env.sh里配置:
export SPARK_EXECUTOR_CORES=4
这样默认executor-cores就为4了。
举个例子:
./Spark-submit –master yarn-client –executor-cores 4 –num-executors 6 –executor-memory
10g –driver-memory 2g –class xxxApp xxJar –jars $SPARK_HOME/lib/postgresql-9.4-1201.jdbc41.jar
即有6个executor,每个executor的cores数目为4。不过当你提交任务时,你一定会非常吃惊,因为yarn 8088上展示的vcores会是7。看起来就像是参数设置并未生效一样。
其实这是因为我们的capacity schedule使用的是DefaultResourceCalculator,那么DefaultResourceCalculator它在加载Container时其实仅仅只会考虑内存而不考虑cores。所以,如果我们想让它既考虑内存也考虑cores的话,需要将$HADOOP_HOME/etc/Hadoop/capacity-scheduler.xml
中的:
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
</property>
修改为:
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>
请注意每个节点的配置文件都需要修改。并且重启hadoop。
这是再提交spark application,vcores use的数目就对了。
25=4*6+1
另外,如果不期望在命令中写executor-cores参数,可以在$SPARK_HOME/conf/spark-env.sh里配置:
export SPARK_EXECUTOR_CORES=4
这样默认executor-cores就为4了。
相关文章推荐
- executor-cores参数并未对vcores生效的原因分析
- executor-cores参数并未对vcores生效的原因分析
- 系统重启后ngix reload不生效原因分析
- swigger里面输入参数无法进入方法原因分析
- HTML外部引用CSS文件不生效原因分析及解决办法
- C访问hadoop程序终端显示运行正确,因为连接参数错误,使得通过网页查看就是没有成功原因分析和解决方案
- SpringMVC接收不到前端参数原因分析
- welcome-file-list不生效的解决办法和原因分析
- Linux终端提示符(prompt)不如期生效的原因分析与解决
- 微信的redirect_uri参数错误原因分析
- spark参数executor-cores引起的异常
- 001:spark-- spark-submit提交参数之num-executors,num-executors,executor-cores
- Redis 中spark参数executor-cores引起的异常解决办法
- Flume的hdfsSink的roll参数不生效的原因(日志上传hdfs)
- spring+mybatis使用事务管理不生效原因分析
- 微信的redirect_uri参数错误原因分析 1是 微信公众号后台的 开发者-》网页授权网址 2 是appid 填写错
- SpringMVC接收不到前端传递的参数原因分析
- Java ArrayList.toArray(T[]) 方法的参数类型是 T 而不是 E的原因分析
- 春山眉黛~xvid参数设置,原因分析
- asp.net回发或回调参数无效,原因分析与解决方案