对于启动 Spark，我看到：
--master local[n1,n2,n3]
其中 n1、n2 和 n3 是整数。
这些指的是什么？
主规范解析为SparkContext.createTaskScheduler https://github.com/apache/spark/blob/v1.3.1/core/src/main/scala/org/apache/spark/SparkContext.scala#L2107。 （请参阅实现的链接。）local are:
-
local使用 1 个线程。
-
local[N]使用 N 个线程。
-
local[*]使用与核心数量一样多的线程。
-
local[N, M] and local[*, M]与上面类似，但将最大任务失败次数设置为 M。这允许您在本地运行时启用重试。 （通常本地重试是被禁用的。启用它们对于测试很有用。）
-
local-cluster[numSlaves, coresPerSlave, memoryPerSlave]按照配置在单独的进程中启动执行程序，但不需要运行工作程序和主程序。这是在单元测试中模拟集群的一种轻量级方法。 （也可以看看SPARK-595 https://issues.apache.org/jira/browse/SPARK-595.)
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
