Spark UDF 错误 - 不支持 Any 类型的架构

2024-06-25

我正在尝试创建一个 udf,它将列中的负值替换为 0。

我的数据框名为 df,包含一列名为 avg_x。 这是我创建 udf 的代码

val noNegative = udf {(avg_acc_x: Double) => if(avg_acc_x < 0) 0 else "avg_acc_x"}

我收到这个错误

java.lang.UnsupportedOperationException: Schema for type Any is not supported

df.printSchema 返回

|-- avg_acc_x: double (nullable = false) 

所以我不明白为什么会出现这个错误?


这是因为else返回一个String: "avg_acc_x"。去掉引号:

val noNegative = udf {(avg_acc_x: Double) => if(avg_acc_x < 0) 0 else avg_acc_x}
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Spark UDF 错误 - 不支持 Any 类型的架构 的相关文章

随机推荐