从这张 JIRA 票证中Spark 2.0 中隐藏 UserDefinedType https://issues.apache.org/jira/browse/SPARK-14155,似乎spark从2.0版本开始隐藏了UDT API。
2.2 版本中是否存在我们可以使用的替代函数或 API,以便我们可以定义 UserDefinedType?我希望在数据帧或结构化流中使用自定义类型。
没有替代 API 并且 UDT 保持私有(https://issues.apache.org/jira/browse/SPARK-7768 https://issues.apache.org/jira/browse/SPARK-7768).
Generic Encoders
(org.apache.spark.sql.Encoders.kryo
and org.apache.spark.sql.Encoders.javaSerialization
) 具有类似的目的Dataset
,但没有直接替换:
- 如何在Dataset中存储自定义对象? https://stackoverflow.com/q/36648128/8371915
- 关于 UDT 和编码器未来的问题 http://apache-spark-developers-list.1001551.n3.nabble.com/Questions-about-the-future-of-UDTs-and-Encoders-td22153.html
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)