Spark重新分区落入单个分区

我正在学习spark，当我使用以下表达式在pyspark shell中测试repartition()函数时，我观察到一个非常奇怪的结果：之后所有元素都落入同一个分区repartition()功能。 在这里，我用了glom()了解 rdd 内的分区。我正期待着repartition()打乱元素并将它们随机分布在分区之间。仅当我使用新分区数

在我的测试过程中，如果我设置新的分区数 > 原始分区数，也不会观察到洗牌。我在这里做错了什么吗？

In [1]: sc.parallelize(range(20), 8).glom().collect()
Out[1]:
[[0, 1],
 [2, 3],
 [4, 5],
 [6, 7, 8, 9],
 [10, 11],
 [12, 13],
 [14, 15],
 [16, 17, 18, 19]]

In [2]: sc.parallelize(range(20), 8).repartition(8).glom().collect()
Out[2]:
[[],
 [],
 [],
 [],
 [],
 [],
 [2, 3, 6, 7, 8, 9, 14, 15, 16, 17, 18, 19, 0, 1, 12, 13, 4, 5, 10, 11],
 []]

In [3]: sc.parallelize(range(20), 8).repartition(10).glom().collect()
Out[3]:
[[],
 [0, 1],
 [14, 15],
 [10, 11],
 [],
 [6, 7, 8, 9],
 [2, 3],
 [16, 17, 18, 19],
 [12, 13],
 [4, 5]]

我使用的是spark版本2.1.1。

恭喜！你刚刚重新发现SPARK-21782 https://issues.apache.org/jira/browse/SPARK-21782 - 当 numPartitions 是 2 的幂时，重新分区会产生偏差:

目前，重新分区（shuffle-enabled coalesce）的算法如下：

对于每个初始分区索引，生成位置为 (new Random(index)).nextInt(numPartitions) 然后，对于初始分区索引中的元素号 k，将其放入新分区位置 + k（模 numPartitions）。

因此，本质上，元素大致均匀地分布在 numPartitions 个存储桶上 - 从编号为position+1 的存储桶开始。

请注意，为每个初始分区索引创建一个新的 Random 实例，并具有固定的种子索引，然后将其丢弃。因此，对于世界上任何 RDD 的每个索引来说，位置都是确定的。此外，nextInt(bound) 实现有一个特殊情况，即bound 是2 的幂，这基本上是从初始种子中获取几个最高位，仅进行最小的加扰。

PySpark 使情况变得更糟，因为它使用批处理序列化器 https://github.com/apache/spark/blob/b2ce17b4c9fea58140a57ca1846b2689b15c0d61/python/pyspark/rdd.py#L2102默认批量大小等于 10，因此每个分区上的项目数量较少，所有项目都会被打乱到相同的输出。

好消息是，它是Spark 2.3 中已解决 https://github.com/apache/spark/commit/77d046ec47a9bfa6323aa014869844c28e18e049谢谢谢尔盖·谢列布里亚科夫 https://github.com/megaserg.