我有一个数据框df
具有以下架构:
root
|-- city_name: string (nullable = true)
|-- person: struct (nullable = true)
| |-- age: long (nullable = true)
| |-- name: string (nullable = true)
我想做的是添加一个嵌套列,例如car_brand
to my person
结构。我该怎么做呢?
预期的最终架构如下所示:
root
|-- city_name: string (nullable = true)
|-- person: struct (nullable = true)
| |-- age: long (nullable = true)
| |-- name: string (nullable = true)
| |-- car_brand: string (nullable = true)
您可以解压缩该结构并将其添加到新结构中,同时包括新列。例如,将“bmw”添加到数据框中的所有人员,如下所示:
df.withColumn("person", struct($"person.*", lit("bmw").as("car_brand")))
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)