如何按特定字段对 Spark DataFrame 中的结构类型数组进行排序？

给出以下代码：

import java.sql.Date
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

object SortQuestion extends App{

  val spark = SparkSession.builder().appName("local").master("local[*]").getOrCreate()
  import spark.implicits._
  case class ABC(a: Int, b: Int, c: Int)

  val first = Seq(
    ABC(1, 2, 3),
    ABC(1, 3, 4),
    ABC(2, 4, 5),
    ABC(2, 5, 6)
  ).toDF("a", "b", "c")

  val second = Seq(
    (1, 2, (Date.valueOf("2018-01-02"), 30)),
    (1, 3, (Date.valueOf("2018-01-01"), 20)),
    (2, 4, (Date.valueOf("2018-01-02"), 50)),
    (2, 5, (Date.valueOf("2018-01-01"), 60))
  ).toDF("a", "b", "c")

  first.join(second.withColumnRenamed("c", "c2"), Seq("a", "b")).groupBy("a").agg(sort_array(collect_list("c2")))
    .show(false)

}

Spark 产生以下结果：

+---+----------------------------------+
|a  |sort_array(collect_list(c2), true)|
+---+----------------------------------+
|1  |[[2018-01-01,20], [2018-01-02,30]]|
|2  |[[2018-01-01,60], [2018-01-02,50]]|
+---+----------------------------------+

这意味着 Spark 正在按日期对数组进行排序（因为它是第一个字段），但我想指示 Spark 按该嵌套结构中的特定字段进行排序。

我知道我可以将数组重塑为(value, date)但这似乎不方便，我想要一个通用的解决方案（想象我有一个大的嵌套结构，5层深，我想按特定列对该结构进行排序）。

有没有办法做到这一点？我错过了什么吗？

根据蜂巢维基:

sort_array(Array<T>)：根据数组元素的自然顺序对输入数组进行升序排序并返回（从0.9.0版本开始）。

这意味着数组将按字典顺序排序，即使对于复杂的数据类型也是如此。

或者，您可以创建一个 UDF 以根据第二个元素对其进行排序（并见证性能下降）：

val sortUdf = udf { (xs: Seq[Row]) => xs.sortBy(_.getAs[Int](1) )
                                        .map{ case Row(x:java.sql.Date, y: Int) => (x,y) }}

first.join(second.withColumnRenamed("c", "c2"), Seq("a", "b"))
     .groupBy("a")
     .agg(sortUdf(collect_list("c2")))
     .show(false)

//+---+----------------------------------+
//|a  |UDF(collect_list(c2, 0, 0))       |
//+---+----------------------------------+
//|1  |[[2018-01-01,20], [2018-01-02,30]]|
//|2  |[[2018-01-02,50], [2018-01-01,60]]|
//+---+----------------------------------+