如何使用RDD API反转reduceByKey的结果？

我有一个 (key, value) 的 RDD，我将其转换为 (key, List(value1, value2, value3) 的 RDD，如下所示。

val rddInit = sc.parallelize(List((1, 2), (1, 3), (2, 5), (2, 7), (3, 10)))
val rddReduced = rddInit..groupByKey.mapValues(_.toList)
rddReduced.take(3).foreach(println)

这段代码给了我下一个 RDD ： (1,列表(2, 3)) (2,列表(5, 7)) (3,列表(10))

但现在我想从我刚刚计算的 rdd（rddReduced rdd）返回到 rddInit。

我的第一个猜测是实现键和列表中每个元素之间的某种叉积，如下所示：

rddReduced.map{
  case (x, y) =>
    val myList:ListBuffer[(Int, Int)] = ListBuffer()
    for(element <- y) {
      myList+=new Pair(x, element)
    }
    myList.toList
}.flatMap(x => x).take(5).foreach(println)

通过这段代码，我得到了初始 RDD 结果。但我不认为在 Spark 作业中使用 ListBuffer 是一个好的做法。还有其他方法可以解决这个问题吗？

我很惊讶没有人提供 Scala 的解决方案用于理解（这被“脱糖”为flatMap and map在编译时）。

我不经常使用这种语法，但是当我使用时......我发现它非常有趣。有些人更喜欢理解而不是一系列flatMap and map，特别是。用于更复杂的转换。

// that's what you ended up with after `groupByKey.mapValues`
val rddReduced: RDD[(Int, List[Int])] = ...
val r = for {
  (k, values) <- rddReduced
  v <- values
} yield (k, v)

scala> :type r
org.apache.spark.rdd.RDD[(Int, Int)]

scala> r.foreach(println)
(3,10)
(2,5)
(2,7)
(1,2)
(1,3)

// even nicer to our eyes
scala> r.toDF("key", "value").show
+---+-----+
|key|value|
+---+-----+
|  1|    2|
|  1|    3|
|  2|    5|
|  2|    7|
|  3|   10|
+---+-----+

毕竟，这就是我们享受 Scala 灵活性的原因，不是吗？