我有一个疑问，阶段如何在 Spark 应用程序中执行。程序员可以定义的阶段执行是否具有一致性，或者是否由 Spark 引擎导出？
检查这张图中的实体（阶段、分区）：
图片来源 http://alvincjin.blogspot.in/2014/12/stages-in-spark.html
作业（spark 应用程序？）中的各个阶段是否在 Spark 中并行运行？
是的，如果没有顺序依赖性，它们可以并行执行。
这里，Stage 1 和 Stage 2 分区可以并行执行，但 Stage 0 分区不能并行执行，因为必须处理 Stage 1 和 Stage 2 中的依赖分区。
可以通过以下方式定义的阶段执行是否存在一致性
程序员还是将由spark引擎派生？
阶段边界由何时定义数据混洗发生在分区之间。 （检查图中的粉红色线）
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
