Pyspark 将结构数组转换为字符串

我在 Pyspark 中有以下数据框

+----+-------+-----+                                                            
|name|subject|score|
+----+-------+-----+
| Tom|   math|   90|
| Tom|physics|   70|
| Amy|   math|   95|
+----+-------+-----+

I used collect_list and struct函数来自pyspark.sql.functions

df.groupBy('name').agg(collect_list(struct('subject', 'score')).alias('score_list'))

获取以下数据框

+----+--------------------+
|name|          score_list|
+----+--------------------+
| Tom|[[math, 90], [phy...|
| Amy|        [[math, 95]]|
+----+--------------------+

我的问题是如何转换最后一列score_list放入字符串并将其转储到 csv 文件中，如下所示

Tom     (math, 90) | (physics, 70)
Amy     (math, 95)

感谢您的帮助，谢谢。

Update: Here https://stackoverflow.com/questions/41788919/concatenating-string-by-rows-in-pyspark是一个类似的问题，但并不完全相同，因为它直接来自string到另一个string。就我而言，我想先转移string to collect_list<struct>最后将其字符串化collect_list<struct>.

根据您的更新和评论，对于火花2.4.0+，这是使用 Spark SQL 内置函数对结构数组进行字符串化的一种方法：转换 https://spark.apache.org/docs/2.4.0/api/sql/index.html#transform and 数组连接 https://spark.apache.org/docs/2.4.0/api/sql/index.html#array_join:

>>> df.printSchema()
root
 |-- name: string (nullable = true)
 |-- score_list: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- subject: string (nullable = true)
 |    |    |-- score: integer (nullable = true)

>>> df.show(2,0)
+----+---------------------------+
|name|score_list                 |
+----+---------------------------+
|Tom |[[math, 90], [physics, 70]]|
|Amy |[[math, 95]]               |
+----+---------------------------+

>>> df1.selectExpr(
        "name"
      , """
         array_join(
             transform(score_list, x -> concat('(', x.subject, ', ', x.score, ')'))
           , ' | '
         ) AS score_list
        """
).show(2,0)

+----+--------------------------+
|name|score_list                |
+----+--------------------------+
|Tom |(math, 90) | (physics, 70)|
|Amy |(math, 95)                |
+----+--------------------------+

Where:

1. Use 转换（）将结构数组转换为字符串数组。对于每个数组元素（结构体x）， 我们用concat('(', x.subject, ', ', x.score, ')')将其转换为字符串。
2. Use 数组连接()连接所有数组元素（StringType）|，这将返回最终的字符串