有关 HIVE_STATS_JDBC_TIMEOUT 的任何更新以及如何在源级别跳过它

2024-03-14

当我尝试使用时Spark-Sql反对Hive,会抛出如下错误。

Exception in thread "main" java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
        at org.apache.spark.sql.hive.HiveUtils$.formatTimeVarsForHiveClient(HiveUtils.scala:204)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver$.main(SparkSQLCLIDriver.scala:90)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala)

根据SO线程Spark 中的 hive-stats-jdbc-timeout-hive-queries-in-spark https://stackoverflow.com/questions/49177319/hive-stats-jdbc-timeout-for-hive-queries-in-spark andSpark-on-hive-sql-query-error-nosuchfielderror-hive-stats-jdbc-timeout https://stackoverflow.com/questions/40008565/spark-on-hive-sql-query-error-nosuchfielderror-hive-stats-jdbc-timeout,当您使用特定版本的Spark和Hive时,就会出现此问题,实际上,如果您想使用最新版本的spark(如2.4.3)和最新版本的Hive(如3.1.1),则无法跳过。

我们可以查看此社区帖子以了解详细信息,https://issues.apache.org/jira/browse/SPARK-13​​446 https://issues.apache.org/jira/browse/SPARK-13446,自 2019 年 2 月以来没有更新。

那么您知道有关此问题的任何更新吗? 如果我们想在源代码级别自己跳过它,有关于如何制作它的线索吗?

提前感谢您的帮助。


仅从 Spark 3.0.0(尚未发布)开始支持使用 Hive 3.1.1。
Jira - https://jira.apache.org/jira/browse/SPARK-24360 https://jira.apache.org/jira/browse/SPARK-24360

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

有关 HIVE_STATS_JDBC_TIMEOUT 的任何更新以及如何在源级别跳过它 的相关文章

随机推荐