Spark：如何将 RDD[T]` 拆分为 Seq[RDD[T]] 并保留顺序

如何有效拆分RDD[T] into a Seq[RDD[T]] / Iterable[RDD[T]] with n元素并保留原始顺序？

我希望能够写出这样的东西

RDD(1, 2, 3, 4, 5, 6, 7, 8, 9).split(3)

这应该会导致类似的结果

Seq(RDD(1, 2, 3), RDD(4, 5, 6), RDD(7, 8, 9))

Spark有提供这样的功能吗？如果不是，什么是实现这一目标的高效方法？

val parts = rdd.length / n
val rdds = rdd.zipWithIndex().map{ case (t, i) => (i - (i % parts), t)}.groupByKey().values.map(iter => sc.parallelize(iter.toSeq)).collect

看起来不是很快。。

从技术上讲，您可以按照您的建议进行操作。然而，在利用计算集群来执行大数据的分布式处理的背景下，它确实没有意义。它首先违背了 Spark 的整个观点。如果您执行 groupByKey 然后尝试将它们提取到单独的 RDD 中，那么您实际上是将 RDD 中分布的所有数据拉到驱动程序上，然后将每个数据重新分布回集群。如果驱动程序无法加载整个数据文件，它也将无法执行此操作。

您不应将大型数据文件从本地文件系统加载到驱动程序节点上。您应该将文件移动到 HDFS 或 S3 等分布式文件系统上。然后，您可以通过以下方式将单个大数据文件加载到集群上：val lines = SparkContext.textFile(...)成一个 RDD 行。当您执行此操作时，集群中的每个工作线程将仅加载文件的一部分，这是可以完成的，因为数据已经分布在分布式文件系统中的集群中。

如果您随后需要将数据组织成对数据的功能处理很重要的“批次”，则可以使用适当的批次标识符来键入数据，例如：val batches = lines.keyBy( line => lineBatchID(line) )

然后，每个批次可以缩减为批次级摘要，并且这些摘要可以缩减为单个总体结果。

为了测试 Spark 代码，可以加载small将数据文件样本保存到一台机器上。但是，当涉及完整数据集时，您应该利用分布式文件系统与 Spark 集群结合来处理这些数据。