Apache Spark 2.2 支持用户定义类型(UDT)吗?

2024-01-06

从这张 JIRA 票证中Spark 2.0 中隐藏 UserDefinedType https://issues.apache.org/jira/browse/SPARK-14155,似乎spark从2.0版本开始隐藏了UDT API。

2.2 版本中是否存在我们可以使用的替代函数或 API,以便我们可以定义 UserDefinedType?我希望在数据帧或结构化流中使用自定义类型。


没有替代 API 并且 UDT 保持私有(https://issues.apache.org/jira/browse/SPARK-7768 https://issues.apache.org/jira/browse/SPARK-7768).

Generic Encoders (org.apache.spark.sql.Encoders.kryo and org.apache.spark.sql.Encoders.javaSerialization) 具有类似的目的Dataset,但没有直接替换:

  • 如何在Dataset中存储自定义对象? https://stackoverflow.com/q/36648128/8371915
  • 关于 UDT 和编码器未来的问题 http://apache-spark-developers-list.1001551.n3.nabble.com/Questions-about-the-future-of-UDTs-and-Encoders-td22153.html
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Apache Spark 2.2 支持用户定义类型(UDT)吗? 的相关文章

随机推荐