Spark SQL / PySpark 中的逆透视

我手头有一个问题陈述，其中我想在 Spark SQL / PySpark 中取消透视表。我已经浏览了文档，我可以看到仅支持pivot，但到目前为止还不支持取消透视。 有什么方法可以实现这个目标吗？

让我的初始表如下所示：

When I pivotPySpark 中的这个：

df.groupBy("A").pivot("B").sum("C")

我得到这个作为输出：

现在我想要unpivot旋转表。一般来说，根据我对原始表进行透视的方式，此操作可能/可能不会生成原始表。

Spark SQL 目前尚未提供对 unpivot 的开箱即用支持。有什么方法可以实现这个目标吗？

您可以使用内置的堆栈函数，例如在 Scala 中：

scala> val df = Seq(("G",Some(4),2,None),("H",None,4,Some(5))).toDF("A","X","Y", "Z")
df: org.apache.spark.sql.DataFrame = [A: string, X: int ... 2 more fields]

scala> df.show
+---+----+---+----+
|  A|   X|  Y|   Z|
+---+----+---+----+
|  G|   4|  2|null|
|  H|null|  4|   5|
+---+----+---+----+


scala> df.select($"A", expr("stack(3, 'X', X, 'Y', Y, 'Z', Z) as (B, C)")).where("C is not null").show
+---+---+---+
|  A|  B|  C|
+---+---+---+
|  G|  X|  4|
|  G|  Y|  2|
|  H|  Y|  4|
|  H|  Z|  5|
+---+---+---+

或者在 pyspark 中：

In [1]: df = spark.createDataFrame([("G",4,2,None),("H",None,4,5)],list("AXYZ"))

In [2]: df.show()
+---+----+---+----+
|  A|   X|  Y|   Z|
+---+----+---+----+
|  G|   4|  2|null|
|  H|null|  4|   5|
+---+----+---+----+

In [3]: df.selectExpr("A", "stack(3, 'X', X, 'Y', Y, 'Z', Z) as (B, C)").where("C is not null").show()
+---+---+---+
|  A|  B|  C|
+---+---+---+
|  G|  X|  4|
|  G|  Y|  2|
|  H|  Y|  4|
|  H|  Z|  5|
+---+---+---+