enableHiveSupport 在 java Spark 代码中引发错误[重复]

2024-06-28

我有一个非常简单的应用程序,尝试使用 Spark 从 /src/main/resources 读取 orc 文件。我不断收到此错误:

无法实例化具有 Hive 支持的 SparkSession,因为找不到 Hive 类。

我尝试添加依赖项

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.11</artifactId>
<version>2.0.0</version>
</dependency>

正如这里推荐的:无法实例化具有 Hive 支持的 SparkSession,因为找不到 Hive 类 https://stackoverflow.com/questions/39444493/unable-to-instantiate-sparksession-with-hive-support-because-hive-classes-are-no

但是,无论我添加什么,我仍然收到此错误。

我通过 NetBeans IDE 在本地 Windows 计算机上运行它。

my code:

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.*;

public class Main {

    public static void main(String[] args) {
        SparkSession spark = SparkSession
                .builder()
                .enableHiveSupport()
                .appName("Java Spark SQL basic example")
                .getOrCreate();

        Dataset<Row> df = spark.read().orc("/src/main/resources/testdir");        
        spark.close();
    }
}

如果你正在跑步IDE,我建议使用.master("local") in you SparkSession目的。

接下来重要的一点是spark-hive的版本应该与spark-core和spark-sql版本匹配。为了安全起见,您可以将依赖定义为

<properties>
    <spark.version>2.0.0</spark.version>
</properties>
<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>${spark.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>${spark.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.11</artifactId>
        <version>${spark.version}</version>
    </dependency>
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

enableHiveSupport 在 java Spark 代码中引发错误[重复] 的相关文章

随机推荐

  • 使用无服务器的 WebSockets API 的自定义域名

    我正在使用无服务器管理应用程序的 REST API 并希望在同一区域中使用 WebSockets API 扩展此设置 一切都应该使用相同的证书但不同的子域来处理 首先 我创建了一个新的自定义域sls create domain stage
  • 我应该使用 Java 8 默认方法来手动实现 Spring 数据存储库方法吗?

    当使用新的 Spring Data Evans 版本时 能够使用 java 8 附带的一些好东西真是太好了 其中之一是接口中的默认实现 下面的存储库使用 QueryDSL 来确保查询类型安全 我的问题是 在我写这篇文章之前 我使用了单独的模
  • Python 常见问题解答:“异常有多快?”

    我只是在看Python常见问题解答 因为它在另一个问题中提到了 以前从未真正详细地看过它 我发现这个问题 http docs python org 3 faq design html how fast are exceptions 异常有多
  • 根据现有值更改 dataGridView 中的值

    我正在重新制作我的客户拥有的应用程序 这意味着我没有创建原始应用程序 其中一个请求是简化 dataGridView 之一中显示的数据 数据是从现有数据库中提取的 问题在于 在该显示器使用的数据表中 其中一列代表某种产品的一种使用类型 并由普
  • LaTeX 使用 hyperref 包和 natbib 更改文本引用的颜色

    我正在使用natbib https www ctan org pkg natbib and hyperref https www ctan org pkg hyperref我的 LaTeX 文档中包含了一些软件包 并且希望将超引用引文周围的
  • 为什么使用 MultiByteToWideCharArray 将 std::string 转换为 std::wstring?

    我想将 std string 转换为 std wstring 我遇到过两种方法 给定一个字符串 str 我们无法使用以下代码将其转换为宽字符串 wstring Widestring std wstring str begin str end
  • 根据多列删除重复项

    我使用以下内容列出了重复项 select s MessageId t from Message s join select ToUserId FromUserId count as qty from Message group by ToU
  • 如果我们不生成窗口,为什么定时器不起作用?

    这是代码 import java awt event ActionEvent import java awt event ActionListener import javax swing JFrame import javax swing
  • 在 django admin 中将 json 文本显示为友好列表

    我有一个 JSONField http djangosnippets org snippets 1478 http djangosnippets org snippets 1478 在模型中 我试图找出向管理员用户显示数据而不是 json
  • 如何从 JobDSL 脚本中访问 Jenkins 作业参数列表?

    我想保存传递到 JobDSL 作业的参数 我知道我可以引用各个参数 但我想让代码通用 我如何访问传递给作业的参数列表 当前的代码看起来像这样 final jobParameters new File parameters jobParame
  • 部署到 Heroku 时找不到“site”模块

    我正在尝试将 django 应用程序部署到 Heroku 但我不断收到错误 ImportError no module named site 我正在使用来自的自定义构建包https github com jiaaro heroku buil
  • 如何针对 Mac OS X 10.5 进行编译

    我想编译 10 5 及更高版本的应用程序 自从我升级到 Snow Leopard 并安装了最新的 XCode 后 gcc 默认为 10 6 我试过了 isysroot Developer SDKs MacOSX10 5 sdk但这似乎不起作
  • 使用 htaccess 禁用目录浏览

    在我的服务器中我有一系列文件夹 我会拒绝对所有这些文件夹的访问 我能怎么做 我必须使用什么规则 在 htaccess 根目录中添加一行 deny from all 问题 如果您想保留自己的访问权限 allow from 192 168 1
  • PrimeFaces 3.0.M3 单元编辑器不更新值

    我读过了there https stackoverflow com questions 6365877 cell edit in primefaces is not updating the value 6487361 6487361 但我
  • div 宽度,单位:厘米(英寸)

    我需要在每个显示器中放入宽度为 25 厘米 10 英寸 的站点 div 我怎样才能做到呢 您可以简单地使用cmCSS 中的单位 mydiv width 25cm 请注意 正如其他人指出的那样 结果仍然取决于操作系统对显示器尺寸的正确读取 S
  • 剥掉所有的身体标签而不毁掉他们的孩子

    此 Ruby 代码使用Nokogiri http nokogiri org doc xpath tbody remove 删除 的子项 tbody 以及 tbody 他们自己 我只想删除所有 tbody 文档中的标签 将其子项留在原处 我怎
  • HTML输入日期,如何减少日期和图标之间的间距?

    我需要压缩输入类型日期 所以我尝试将宽度设置为 120px 问题是有一个space日期数字和输入日期图标之间 我需要减少或删除该空间 有没有办法做到这一点 我的代码 顺便说一句 我正在使用 bootstrap 4
  • 你可以在 Android 中有意打开多个文件吗?

    我正在尝试在 Android Studio 中编写一个应用程序来打开多个音乐文件并存储它们的路径 目前我所做的只是一次加载一个文件 这不会出现任何问题 例如 下面的代码显示了我的加载按钮的 onclicklister 和相关代码 本示例的一
  • Java字符串对象的创建

    我一直在阅读 Java String 对象 并且有这个问题 String x a String y b 它在Java中创建两个对象吗 这两行代码不会创建任何对象 字符串文字 例如 a 被放入字符串池 https stackoverflow
  • enableHiveSupport 在 java Spark 代码中引发错误[重复]

    这个问题在这里已经有答案了 我有一个非常简单的应用程序 尝试使用 Spark 从 src main resources 读取 orc 文件 我不断收到此错误 无法实例化具有 Hive 支持的 SparkSession 因为找不到 Hive