我正在尝试创建一个 udf,它将列中的负值替换为 0。
我的数据框名为 df,包含一列名为 avg_x。
这是我创建 udf 的代码
val noNegative = udf {(avg_acc_x: Double) => if(avg_acc_x < 0) 0 else "avg_acc_x"}
我收到这个错误
java.lang.UnsupportedOperationException: Schema for type Any is not supported
df.printSchema 返回
|-- avg_acc_x: double (nullable = false)
所以我不明白为什么会出现这个错误?
这是因为else
返回一个String
: "avg_acc_x"
。去掉引号:
val noNegative = udf {(avg_acc_x: Double) => if(avg_acc_x < 0) 0 else avg_acc_x}
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)