Spark Executor在YARN上的内存分配
2015-09-10 17:17
190 查看
一个Executor对应一个JVM进程。
从Spark的角度看,Executor占用的内存分为两部分:ExecutorMemory和MemoryOverhead
一、ExecutorMemory
ExecutorMemory为JVM进程的Java堆区域。大小通过属性spark.executor.memory设置。也可以在spark-submit命令时用参数--executor-memory设置。
用于缓存RDD数据的memoryStore位于这一区域。
memoryStore占用空间的比例通过属性spark.storage.memoryFraction和spark.storage.safetyFraction控制
相关源码:
所以,一个Executor用于存储RDD的空间=(ExecutorMemory–
MEMORY_USED_BY_RUNTIME) * spark.storage.memoryFraction *spark.storage.safetyFraction
二、MemoryOverhead
MemoryOverhead是JVM进程中除Java堆以外占用的空间大小,包括方法区(永久代)、Java虚拟机栈、本地方法栈、JVM进程本身所用的内存、直接内存(Direct
Memory)等。通过spark.yarn.executor.memoryOverhead设置,单位MB。
相关源码:
三、相关问题
如果用于存储RDD的空间不足,先存储的RDD的分区会被后存储的覆盖。当需要使用丢失分区的数据时,丢失的数据会被重新计算
如果Java堆或者永久代的内存不足,则会产生各种OOM异常,executor会被结束。spark会重新申请一个container运行executor。失败executor上的任务和存储的数据会在其他executor上重新计算。
如果实际运行过程中ExecutorMemory+MemoryOverhead之和(JVM进程总内存)超过container的容量。YARN会直接杀死container。executor日志中不会有异常记录。spark同样会重新申请container运行executor。
在Java堆以外的JVM进程内存占用较多的情况下,应该将MemoryOverhead设置为一个足够大的值,应该将MemoryOverhead设置为一个足够大的值,以防JVM进程因实际占用的内存超标而被kill。如果默认值(math.max((MEMORY_OVERHEAD_FACTOR
*executorMemory).toInt,MEMORY_OVERHEAD_MIN)不够大,可以通过spark.yarn.executor.memoryOverhead手动设置一个更大的值。
参考资料:
http://www.wdong.org/wordpress/blog/2015/01/08/spark-on-yarn-where-have-all-my-memory-gone/
http://stackoverflow.com/questions/28404714/yarn-why-doesnt-task-go-out-of-heap-space-but-container-gets-killed
从Spark的角度看,Executor占用的内存分为两部分:ExecutorMemory和MemoryOverhead
一、ExecutorMemory
ExecutorMemory为JVM进程的Java堆区域。大小通过属性spark.executor.memory设置。也可以在spark-submit命令时用参数--executor-memory设置。
用于缓存RDD数据的memoryStore位于这一区域。
memoryStore占用空间的比例通过属性spark.storage.memoryFraction和spark.storage.safetyFraction控制
相关源码:
//core/src/main/scala/org/apache/spark/storage/BlockManager.scala /** Return the total amount of storage memory available. */ private def getMaxMemory(conf: SparkConf): Long = { val memoryFraction = conf.getDouble("spark.storage.memoryFraction", 0.6) val safetyFraction = conf.getDouble("spark.storage.safetyFraction", 0.9) (Runtime.getRuntime.maxMemory * memoryFraction * safetyFraction).toLong }
所以,一个Executor用于存储RDD的空间=(ExecutorMemory–
MEMORY_USED_BY_RUNTIME) * spark.storage.memoryFraction *spark.storage.safetyFraction
二、MemoryOverhead
MemoryOverhead是JVM进程中除Java堆以外占用的空间大小,包括方法区(永久代)、Java虚拟机栈、本地方法栈、JVM进程本身所用的内存、直接内存(Direct
Memory)等。通过spark.yarn.executor.memoryOverhead设置,单位MB。
相关源码:
//yarn/common/src/main/scala/org/apache/spark/deploy/yarn/YarnSparkHadoopUtil.scala val MEMORY_OVERHEAD_FACTOR = 0.07 val MEMORY_OVERHEAD_MIN = 384 //yarn/common/src/main/scala/org/apache/spark/deploy/yarn/YarnAllocator.scala protected val memoryOverhead: Int = sparkConf.getInt("spark.yarn.executor.memoryOverhead", math.max((MEMORY_OVERHEAD_FACTOR * executorMemory).toInt, MEMORY_OVERHEAD_MIN)) ...... val totalExecutorMemory = executorMemory + memoryOverhead numPendingAllocate.addAndGet(missing) logInfo(s"Will allocate $missing executor containers, each with $totalExecutorMemory MB " + s"memory including $memoryOverhead MB overhead")
三、相关问题
如果用于存储RDD的空间不足,先存储的RDD的分区会被后存储的覆盖。当需要使用丢失分区的数据时,丢失的数据会被重新计算
如果Java堆或者永久代的内存不足,则会产生各种OOM异常,executor会被结束。spark会重新申请一个container运行executor。失败executor上的任务和存储的数据会在其他executor上重新计算。
如果实际运行过程中ExecutorMemory+MemoryOverhead之和(JVM进程总内存)超过container的容量。YARN会直接杀死container。executor日志中不会有异常记录。spark同样会重新申请container运行executor。
在Java堆以外的JVM进程内存占用较多的情况下,应该将MemoryOverhead设置为一个足够大的值,应该将MemoryOverhead设置为一个足够大的值,以防JVM进程因实际占用的内存超标而被kill。如果默认值(math.max((MEMORY_OVERHEAD_FACTOR
*executorMemory).toInt,MEMORY_OVERHEAD_MIN)不够大,可以通过spark.yarn.executor.memoryOverhead手动设置一个更大的值。
参考资料:
http://www.wdong.org/wordpress/blog/2015/01/08/spark-on-yarn-where-have-all-my-memory-gone/
http://stackoverflow.com/questions/28404714/yarn-why-doesnt-task-go-out-of-heap-space-but-container-gets-killed
相关文章推荐
- java.lang.ClassNotFoundException: org.springframework.web.servlet.DispatcherServlet
- unity 引用 移动mm 支付sdk
- UVA - 10307 Killing Aliens in Borg Maze(最小生成树kruskal+bfs)
- JAVA入门教程之关键字
- Linux2.6.32内核笔记(3)进程管理子系统
- 重写alert、confirm
- async与await
- C#接口
- Spring中Quartz的配置
- oracle存储过程
- RGB 颜色对照表
- 20150910_swf linux下转换问题
- android 网络请求 开源框架
- 用来 authenticate 的 Directives
- 汇总查询到的数据
- android 监听网络变化 多处做出监听处理
- Android 国际化 语言适配
- Http请求框架 okHttp 简单使用介绍
- ReactJS State
- Bootstrap模态框(modal)垂直居中