在 Spark scala 中将行转换为地图

我有数据框中的一行，我想将其转换为 Map[String, Any]，将列名称映射到该列的行中的值。

有简单的方法吗？

我是为字符串值做的，比如

def rowToMap(row:Row): Map[String, String] = {
row.schema.fieldNames.map(field => field -> row.getAs[String](field)).toMap
}

val myRowMap = rowToMap(myRow)

如果该行包含其他值，而不是像 String 这样的特定值，那么代码会变得更混乱，因为该行没有方法.get(field)

有任何想法吗？

您可以使用getValuesMap:

val df = Seq((1, 2.0, "a")).toDF("A", "B", "C")    
val row = df.first

To get Map[String, Any]:

row.getValuesMap[Any](row.schema.fieldNames)
// res19: Map[String,Any] = Map(A -> 1, B -> 2.0, C -> a)

或者你可以获得Map[String, AnyVal]对于这个简单的情况，因为值不是复杂的对象

row.getValuesMap[AnyVal](row.schema.fieldNames)
// res20: Map[String,AnyVal] = Map(A -> 1, B -> 2.0, C -> a)

Note: _{the returned value type of the getValuesMap can be labelled as any type, so you can not rely on it to figure out what data types you have but need to keep in mind what you have from the beginning instead.}