我正在 Linux 64 (Fedora 25) 上的 Intellij (CE 2017.1) Scala 控制台中将 Spark 代码作为脚本运行。我在开始时设置了 SparkContext：
import org.apache.spark.{SparkConf, SparkContext}
val conf = new SparkConf().
setAppName("RandomForest").
setMaster("local[*]").
set("spark.local.dir", "/spark-tmp").
set("spark.driver.memory", "4g").
set("spark.executor.memory", "4g")
val sc = new SparkContext(conf)
但正在运行的 SparkContext 始终以同一行开头：
17/03/27 20:12:21 信息 SparkContext：运行 Spark 版本 2.1.0
17/03/27 20:12:21 INFO MemoryStore：MemoryStore 启动容量为 871.6 MB
17/03/27 20:12:21 INFO BlockManagerMasterEndpoint：使用 871.8 MB RAM 注册块管理器 192.168.1.65:38119，BlockManagerId（驱动程序，192.168.1.65，38119，无）
Spark Web UI 中的“执行程序”选项卡显示相同的数量。
在启动之前从终端导出 _JAVA_OPTIONS="-Xms2g -Xmx4g" 在这里也没有效果。
增加 Spark MemoryStore 并最终增加 Web UI 的“存储内存执行程序”选项卡的唯一方法是在启动前直接在 Intellij Scala 控制台设置中的 VM 选项中添加 -Xms2g -Xmx4g。
现在信息行打印：
17/03/27 20:12:21 INFO MemoryStore：MemoryStore 启动容量为 2004.6 MB
17/03/27 20:12:21 INFO BlockManagerMasterEndpoint：使用 2004.6 MB RAM 注册块管理器 192.168.1.65:41997，BlockManagerId（驱动程序，192.168.1.65，41997，无）
Spark Web UI Executors 选项卡存储内存显示 2.1 GB。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
