在地图列的 Spark 数据框中如何使用所有键的常量更新值

我有 Spark 数据框，其中包含 Integer 和 Map 类型的两列，我想知道更新映射列的所有键的值的最佳方法。

在 UDF 的帮助下，我能够更新值

def modifyValues = (map_data: Map[String, Int]) => {
      val divideWith = 10
      map_data.mapValues( _ / divideWith)
    }
val modifyMapValues = udf(modifyValues)
df.withColumn("updatedValues", modifyMapValues($"data_map"))


scala> dF.printSchema()
root
 |-- id: integer (nullable = true)
 |-- data_map: map (nullable = true)
 |    |-- key: string
 |    |-- value: integer (valueContainsNull = true)

样本数据：

>val ds = Seq(
  (1, Map("foo" -> 100, "bar" -> 200)),
  (2, Map("foo" -> 200)),
  (3, Map("bar" -> 200))
).toDF("id", "data_map")

Expected output:
+---+-----------------------+
|id |data_map               |
+---+-----------------------+
|1  |[foo -> 10, bar -> 20] |
|2  |[foo -> 20]            |
|3  |[bar -> 1]             |
+---+-----------------------+

想知道，有没有办法在没有 UDF 的情况下做到这一点？

一种可能的方法（没有 UDF）是这样的：

1. 使用提取密钥map_keys到一个数组
2. 使用提取值map_values到一个数组
3. 使用转换提取的值TRANSFORM（从 Spark 2.4 开始可用）
4. 使用创建回地图map_from_arrays

import org.apache.spark.sql.functions.{expr, map_from_arrays, map_values, map_keys}

ds
.withColumn("values", map_values($"data_map"))
.withColumn("keys", map_keys($"data_map"))
.withColumn("values_transformed", expr("TRANSFORM(values, v -> v/10)"))
.withColumn("data_map_transformed", map_from_arrays($"keys", $"values_transformed"))