pyspark - 合并 2 列集合

我有一个 Spark 数据框，它有 2 列由函数collect_set 形成。我想将这两列集合合并为一列集合。我应该怎样做呢？它们都是一组字符串

例如，我有两列是通过调用collect_set形成的

Fruits                  |    Meat
[Apple,Orange,Pear]          [Beef, Chicken, Pork]

我如何把它变成：

Food

[Apple,Orange,Pear, Beef, Chicken, Pork]

非常感谢您提前提供的帮助

我也在 Python 中解决了这个问题，所以这里是 Ramesh 对 Python 的解决方案的一个端口：

df = spark.createDataFrame([(['Pear','Orange','Apple'], ['Chicken','Pork','Beef'])],
                           ("Fruits", "Meat"))
df.show(1,False)

from pyspark.sql.functions import udf
mergeCols = udf(lambda fruits, meat: fruits + meat)
df.withColumn("Food", mergeCols(col("Fruits"), col("Meat"))).show(1,False)

Output:

+---------------------+---------------------+
|Fruits               |Meat                 |
+---------------------+---------------------+
|[Pear, Orange, Apple]|[Chicken, Pork, Beef]|
+---------------------+---------------------+
+---------------------+---------------------+------------------------------------------+
|Fruits               |Meat                 |Food                                      |
+---------------------+---------------------+------------------------------------------+
|[Pear, Orange, Apple]|[Chicken, Pork, Beef]|[Pear, Orange, Apple, Chicken, Pork, Beef]|
+---------------------+---------------------+------------------------------------------+

向拉梅什致敬！

EDIT:请注意，您可能必须手动指定列类型（不确定为什么它仅在某些情况下没有明确的类型规范对我有用 - 在其他情况下我得到了字符串类型列）。

from pyspark.sql.types import *
mergeCols = udf(lambda fruits, meat: fruits + meat, ArrayType(StringType()))