最详细的Spark内存管理

spark 各版本的内存参数:

一.Spark 1.6内存管理：

spark 1.6之前 使用StaticMemoryManager，叫legacy模式，默认是关闭的。

spark1.6开始，使用UnifiedMemoryManager。

1.6开始的内存结构：

由上图知道，内存由三部分组成。

1.Reserved Memory ,系统保留的内存，是硬编码写死的，spark 1.6 这个值是300MB.这300MB不算在spark使用的内存里。

2.user Memory 是spark Memory分配之后保留的。根据你自己的需要使用这块内存区域。 在spark 1.6中这块内存的大小计算：

(“Java Heap”