Spark：reduce和reduceByKey之间的语义差异

在 Spark 的文档中，它说 RDDs 方法reduce http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD需要一个结合与交换的二元函数。

然而，该方法reduceByKey http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.PairRDDFunctions仅需要关联二元函数。

sc.textFile("file4kB", 4)

我做了一些测试，显然这就是我得到的行为。为什么会有这样的差异？为什么reduceByKey确保二元函数始终按特定顺序应用（以适应交换律的缺乏）reduce才不是？

例如，如果加载一些具有 4 个分区（最少）的（小）文本：

val r = sc.textFile("file4k", 4)

then:

r.reduce(_ + _)

返回一个字符串，其中各部分的顺序并不总是相同，而：

r.map(x => (1,x)).reduceByKey(_ + _).first

始终返回相同的字符串（其中所有内容的顺序与原始文件中的顺序相同）。

（我检查过r.glom并且文件内容确实分布在4个分区上，不存在空分区）。

就我而言，这是文档中的错误，您看到的结果只是偶然的。实践，其他资源 http://ampcamp.berkeley.edu/3/exercises/data-exploration-using-spark.html和一个简单的代码分析 https://github.com/apache/spark/blob/b122c861cd72b580334a7532f0a52c0439552bdf/core/src/main/scala/org/apache/spark/rdd/PairRDDFunctions.scala#L72显示该函数传递给reduceByKey不仅应该是结合律，而且还应该是交换律。

• 实践 - 虽然看起来顺序是在本地模式下保留的，但当您在集群上运行 Spark（包括独立模式）时，情况就不再如此。

• 其他资源 - 引用使用 Spark 进行数据探索 http://ampcamp.berkeley.edu/3/exercises/data-exploration-using-spark.html from 扩音营 3 http://ampcamp.berkeley.edu/3/exercises/index.html:

  Spark 中有一个名为reduceByKey 的便捷方法正是针对这种模式。请注意，reduceByKey 的第二个参数决定要使用的化简器数量。默认情况下，Spark 假定reduce 函数是可交换和关联的，并在映射器端应用组合器。

• code - reduceByKey是使用实现的combineByKeyWithClassTag并创造ShuffledRDD。由于 Spark 不保证打乱后的顺序，因此恢复它的唯一方法是将一些元数据附加到部分减少的记录上。据我所知，没有发生过这样的事情。

附注reduce因为它是在 PySpark 中实现的，所以它可以与仅可交换的函数一起正常工作。当然，这只是实施的细节，而不是合同的一部分。