程序员经验分享-hwhale

如何在没有 Kerberos 的情况下启动 Spark 3.0.0 kubernetes 工作负载？

2024-03-02

似乎在 Spark 3.0.0 上，当我使用 kubernetes 进行 Spark 提交时，它需要 kerberos，我使用在 2.4.5 中运行良好的相同 Spark 提交 我收到此错误：

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
20/07/04 08:17:51 INFO SparkKubernetesClientFactory: Auto-configuring K8S client using current context from users K8S config file
20/07/04 08:17:51 INFO KerberosConfDriverFeatureStep: You have not specified a krb5.conf file locally or via a ConfigMap. Make sure that you have the krb5.conf locally on the driver image.
Exception in thread "main" org.apache.hadoop.security.KerberosAuthException: failure to login: javax.security.auth.login.LoginException: java.lang.NullPointerException: invalid null input: name

更具体地说，我不想使用 kerberos


好的，发现，您需要在图像构建步骤中指定一个spark_uid。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apachespark

Kubernetes

kerberos

如何在没有 Kerberos 的情况下启动 Spark 3.0.0 kubernetes 工作负载？ 的相关文章

随机推荐

  • 如何使用 ASP.NET MVC 将字典绑定到一组复选框？

    我的需要是 绑定 Dictionary

  • Maven 的 Jersey 问题 - Shade 插件

    我的问题非常类似于 仅当依赖项组装到单个 jar 中时才会抛出 Jersey 异常 https stackoverflow com questions 12611213 jersey exception only thrown when d

  • 过滤R中所有列包含相同数据的行

    我有一个数据集 要求每个参与者回答一系列问题 有些人对每个问题都给出了相同的回答 我想丢弃这些参与者的数据 但不知道如何去做 我的意思是我可以尝试过滤 区分 但我遇到的问题是大约有 100 个问题 所以 100 列 我不确定使 R 过滤所有

  • 使用PHP 5.5的password_hash和password_verify函数

    假设我想存储用户的密码 这是否是使用 PHP 5 5 的正确方法password hash 函数 或 PHP 5 3 7 的此版本 https github com ircmaxell password compat https githu

  • 我在 Visual Studio 2010 中找不到从工具菜单生成本地资源

    我在网页的设计视图 标记 中 我在工具菜单中找不到 生成本地资源 谁能告诉我如何启用这个工具 查看 aspx 或 ascx 文件时 确保您正在查看 设计 或 拆分 选项卡 而不是 源 选项卡 此外 这篇文章可能会有所帮助 其中部分指出 如果

  • C# 中的 'volatile' 关键字仍然被破坏吗？

    乔 阿尔巴哈里有一个很棒的系列 http www albahari com threading 关于多线程 这是必读的内容 对于任何从事 C 多线程处理的人来说都应该牢记于心 然而 在第 4 部分中 他提到了 volatile 的问题 请注

  • 获取用户信息 Google-PHP-Client 问题？

    首先 我只想说我需要从用户那里获取哪些信息 全名 名字 姓氏 电子邮件地址 主帐户 而不是 google plus com 位置 国家 州 城市 地址 Youtube 用户名 为了获取所有这些信息 我继续下载 安装位于以下位置的 PHP 客

  • 如何创建静态链接共享库

    在我的硕士论文中 我尝试为 ARM Cortex M3 嵌入式系统采用共享库方法 由于我们的目标板没有 MMU 我认为使用 普通 动态共享库是没有意义的 因为 text 是直接从闪存执行的 而 data 在启动时被复制到 RAM 所以我无法

  • MinGW 调试模式下 Qt 应用程序启动缓慢

    我在 Win 7 上使用 Qt Creator 3 1 1 和 Qt 5 3 如果设置了 2 个套件 VC2013 和 MinGW 4 8 1 我的应用程序可以编译 并且可以与两个编译器一起使用 但是当我以 MinGW gdb 调试模式启动

  • 如何使用 sklearn Pipeline 转换项目？

    我有一个简单的 scikit learnPipeline共两个步骤 aTfIdfVectorizer随后是一个LinearSVC 我已经使用我的数据拟合了管道 都好 现在我想使用我的拟合来转换 而不是预测 一个项目pipeline I tr

  • 为 git log 这样的两个字命令创建别名？

    有时我有两个词的命令 例如git log or apt get install我想添加一个默认参数 例如 大多数时候我想添加 abbrev commit参数给我的git log 以及 y参数为apt get install git log

  • 如何动态地将 标签附加到

    标签的特定位置？

    本质上 我正在尝试实现一个在选择时突出显示某些文本的功能 这仅适用于 Google Chrome 浏览器 例如 选型前 p sample text p 从 示例文本 中选择 文本 后 p sample span class state hi

  • oozie Sqoop 操作无法将数据导入到 hive

    我在执行 oozie sqoop 操作时遇到问题 在日志中我可以看到 sqoop 能够将数据导入到临时目录 然后 sqoop 创建 hive 脚本来导入数据 将临时数据导入配置单元时失败 在日志中我没有收到任何异常 下面是我正在使用的 sq

  • MVC 路由捕获文件名作为参数

    我正在尝试使用 MVC 生成一个简单的 WebDAV 服务器 并且我终于达到了需要向用户提供请求的文件的阶段 我设置了一条用于遍历目录结构的路线 webdav path 工作正常 直到该路径以文件名结束为止 此时 IIS 似乎确定它是静态文

  • 带有 php 和 ssl 的本地主机服务器

    我正在寻找允许使用 ssl 启动 php 文件的服务器 我尝试过例如 python 简单服务器 import BaseHTTPServer SimpleHTTPServer import ssl httpd BaseHTTPServer H

  • 如何在Python中创建随机的圆数组而不重叠？

    我想知道如何在Python中创建一些不重叠的圆圈 Let me share a part of my script 在第 55 56 和 57 行中 我打印了坐标 见证了重叠 在每个 for 语句中 我认为我避免了重叠执行诸如二分法 求根方

  • Git - 如何在 Windows 上使用 .netrc 文件保存用户和密码

    当我使用 Git 通过 HTTP 和用户密码克隆远程存储库时 是否可以在 Windows 上使用 netrc 文件 是否可以使用 netrcWindows 上的文件 是的 您必须 定义环境变量 HOME Git 2 0 之前的版本 Git

  • Windows批处理脚本url解码

    我有一个批处理脚本可以在我的网络上触发 vlc 问题是它根据浏览器中的 URL 打开 浏览器会自动添加 20 来代替常规空格 在将文件路径发送到 vlc 之前 我需要在批处理脚本中再次将其替换为常规空格 这是我的代码 echo off se

  • 如果Python中用户输入为空，如何定义默认值？

    如果用户从键盘输入值 我必须设置默认值 这是用户可以输入值的代码 input int raw input Enter the inputs Here the value will be assigned to a variable inpu

  • 如何在没有 Kerberos 的情况下启动 Spark 3.0.0 kubernetes 工作负载？

    似乎在 Spark 3 0 0 上 当我使用 kubernetes 进行 Spark 提交时 它需要 kerberos 我使用在 2 4 5 中运行良好的相同 Spark 提交 我收到此错误 Using Spark s default lo

热门标签