嘴说手画Spark的内存模型

一，内存模型

Spark的内存模型如下图所示：

• Reserved Memory 固定为 300MB，不受开发者控制，是启动Spark框架本身所需要的内存空间
• UserMemory 是用户空间，即用户定义的数据，通常是用户在代码中定义的变量，可以说，除RDD、广播、全局变量、计算过程中产生的数据之外都是用户定义的数据
• Execution Memory 执行计算任务所需要的内存，如源数据加载占用的是这部分内存，以及在计算过程中产生的中间数据使用的内存都是这部分内存
• Storage Memory 缓存、广播、全局变量使用这部分内存

PS:在内存不够时，Spark是报OOM还是把部分数据溢出到文件中？
在两个场景下，会有溢出到文件，一是RDD的cache，二是shuffle的中间数据。其他场景下，如果内存不足，会导致OOM错误。

二，配置项

• spark.executor.memory 是绝对值，它指定了 Executor 进程的 JVM Heap 总大小。
• spark.memory.fraction 标记 Spark 处理分布式数据集的内存总大小，这部分内存包括 Execution Memory 和 Storage Memory 两部分。如上图所示，表示第一层内存占用的大小
• spark.memory.storageFraction 区分 Execution Memory 和 Storage Memory 的初始大小，标识第一层划分的两部分各自占用的比例