PySpark - 将 DF 列合并到命名的 StructType 中

我希望将 PySpark 数据帧的多列合并到StructType.

假设我有一个像这样的数据框：

columns = ['id', 'dogs', 'cats']
vals = [(1, 2, 0),(2, 0, 1)]
df = sqlContext.createDataFrame(vals, columns)

我希望生成的数据框与此类似（不是因为它实际上会被打印，而是为了让您了解我的意思，如果您还不熟悉 StructType）：

id | animals
1  | dogs=2, cats=0
2  | dogs=0, cats=1

现在我可以通过这样实现我想要的：

StructType(
    [StructField('dogs', IntegerType(), True),
    [StructField('cats', IntegerType(), True)
)

在我的最后udf然而，我宁愿只用一个函数来完成它。如果不存在的话我会感到惊讶。

如果您需要一个map column：创建以列名作为键的文字列，然后使用create_map https://spark.apache.org/docs/2.2.0/api/python/pyspark.sql.html#pyspark.sql.functions.create_map函数来构造您需要的地图列：

from pyspark.sql.functions import create_map, lit
new_df = df.select(
    'id', 
     create_map(lit('dogs'), 'dogs', lit('cats'), 'cats').alias('animals')
     #                key  :  val,        key   :   val
)

new_df.show(2, False)
#+---+----------------------+
#|id |animals               |
#+---+----------------------+
#|1  |[dogs -> 2, cats -> 0]|
#|2  |[dogs -> 0, cats -> 1]|
#+---+----------------------+

new_df.printSchema()
#root
# |-- id: long (nullable = true)
# |-- animals: map (nullable = false)
# |    |-- key: string
# |    |-- value: long (valueContainsNull = true)

如果您需要一个struct column： 使用struct https://spark.apache.org/docs/2.2.0/api/python/pyspark.sql.html#pyspark.sql.functions.struct功能：

from pyspark.sql.functions import struct
new_df = df.select('id', struct('dogs', 'cats').alias('animals'))
new_df.show(2, False)
#+---+-------+
#|id |animals|
#+---+-------+
#|1  |[2, 0] |
#|2  |[0, 1] |
#+---+-------+

new_df.printSchema()
#root
# |-- id: long (nullable = true)
# |-- animals: struct (nullable = false)
# |    |-- dogs: long (nullable = true)
# |    |-- cats: long (nullable = true)