打乱数据的 Spark sql 聚合操作，即spark.sql.shuffle.partitions 200（默认情况下）。当 shuffle 分区大于 200 时，性能会发生什么变化。
当分区数量大于 2000 时，Spark 使用不同的数据结构进行随机簿记。因此，如果分区数量接近 2000，则将其增加到 2000 以上。
但我的问题是，当 shuffle 分区大于 200（比如说 300）时，会发生什么行为。
根据为作业分配足够资源的相对较大集群上的典型工作负载，选择数字 200 作为默认值。否则，应根据 2 个因素选择此数字 - 可用核心数量和分区大小（建议将分区保持在接近 100Mb）。选定的分区数量应该是可用核心数量的倍数，但不应该很大（通常是核心数量的 1-3 倍）。如果分区数量大于默认值，则不应更改 Spark 的行为 - 它只会增加 Spark 需要执行的任务数量。
你可以看Spark + AI 峰会 2019 的演讲 https://www.youtube.com/watch?v=daXEp4HmS-E- 它涵盖了 Spark 程序优化的许多细节，包括分区数量的选择。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
