程序员经验分享-hwhale

Spark 作业托管在 Jboss 上并尝试连接到 master 时，调用 RpcHandler #receive() 获取单向消息时出错

2024-06-22

部署在 Jboss 服务器上时，我无法连接到 master 上的 Spark

我有一个使用 Java 和 Spark API 设计的应用程序，用于将数据加载到 Oracle 数据库。我已经在 J​​boss 上部署了这个应用程序，并且在我的本地 master Spark 会话上运行良好，但是当我尝试将我的 Spark.master 更改为集群模式并从本地点击 url 时，它没有连接到 master。我总是看到 - 加载成员文件时发生错误：java.net.BindException：无法分配请求的地址：服务“sparkDriver”在 16 次重试后失败（在随机空闲端口上）！考虑将服务“sparkDriver”的适当绑定地址（例如 SparkDriver 的spark.driver.bindAddress）显式设置为客户端（本地）上的正确绑定地址，并出现 ERROR TransportRequestHandler：调用 RpcHandler 时出错

receive() 用于单向消息。

java.io.InvalidClassException: org.apache.spark.rpc.netty.NettyRpcEndpointRef;我 ocal 类不兼容：stream classdesc serialVersionUID = 6257082371135760434 - 主计算机上出现此错误。我在本地和主服务器上都有相同的版本（我的pom.xml中的spark 2.4.2和Hadoop 2.7，Scala 2.12.8和sparkcore.2.8.0）。当我尝试查找此错误时，我发现存在版本不匹配的问题，但我没有。有人可以帮忙吗？

创建火花会话 -

sparkSession = new SparkSession.Builder().master("spark://ip.addresss:7077").config("spark.submit.deployMode","cluster").appName("Java JDBC Spark").config("spark.driver.bindAddress","ip.addresss").getOrCreate();

这是因为您用来创建 Spark 会话的 Spark 配置文件。就我而言，当我纠正同样的问题时，它起作用了。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Java

apachespark

Jboss

Spark 作业托管在 Jboss 上并尝试连接到 master 时，调用 RpcHandler #receive() 获取单向消息时出错 的相关文章

随机推荐

  • perl - 创建 gzip 压缩文件的最佳方法

    我需要改变我的例程并对最终的输出文件进行 gzip 压缩 我试图找出 gzip 在 perl 子例程中调用的已处理文件的最佳方法是什么 例如 我有一个创建文件 extract data 的子例程 这是主循环和子例程 foreach my t

  • 在 PHP 中使用自定义键对数组进行排序

    我有一个如下所示的结构数组 array1 array 123 gt array 1 gt 1 2 gt 3 345 gt array 1 gt 3 2 gt 5 789 gt array 1 gt 1 2 gt 5 567 gt array

  • 在运行时更改浏览器首选项？

    我们可以在运行时更改浏览器首选项吗 是否有可能在执行过程中以编程方式更改启动浏览器之前设置的浏览器首选项 Example 我在启动驱动程序之前设置了以下首选项 firefoxProfile setPreference pdfjs disab

  • 如何在 Java 中复制堆栈？

    我有一个堆栈 A 我想创建一个与堆栈 A 相同的堆栈 B 我不希望堆栈 B 只是指向 A 的指针 我实际上想创建一个包含相同元素的新堆栈 B作为堆栈 A 其顺序与堆栈 A 相同 堆栈 A 是字符串堆栈 Thanks 只需使用 Stack 类

  • OAuth、PHP、Rest API 和curl 给出 400 Bad Request

    我们有几个应用程序 利用car2go Rest API https code google com p car2go wiki index v2 1使用 OAuth 1 0 我们所有的网络应用程序在 2 天前停止工作 全部curl POST

  • 可以使用Nuget获取开源库的源代码吗？

    我想要获取开源库的源代码 用于调试目的 我想知道是否 a 这是客户端项目的配置问题 我可以重新配置项目以获取源代码而不仅仅是二进制文件 b 这是库问题的配置 我需要分叉并重新打包或找到源代码版本来获取源代码 c 由于某种原因 这在 nuge

  • 是否有用 C# 编写的 ANTLR 的有效替代方案？ [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 ANTLR 是一个很棒的软件 但在我看来 对于 C 程序员来说有点不舒服 C 移植已经过时 解析器 a

  • 免费文本替代方案

    我们希望将数据库从本地 SQL 2008 服务器移动到 SQL Azure 但是我们使用FREETEXTSEARCH目前不受支持 有没有替代方案FREETEXTSEARCH我们可以使用 AZURE 支持的功能 和 或者您可以编写一个执行相同

  • 如何检查软件包是否已安装并在未安装时安装它？

    我正在 Ubuntu 系统上工作 目前这就是我正在做的事情 if which command gt dev null then echo e Command not found Install y n c read if REPLY y t

  • 在使用 SQL 查询的单元测试中模拟 IDocumentQuery

    我正在使用单元测试来测试DocumentDBRepository班级 我跟着这个帖子 https stackoverflow com questions 49906029 mocking idocumentquery in unit tes

  • PHP：用户注销

    我有一个自定义编写的 PHP 应用程序 15年前建造的 一直工作得很好 直到最近用户报告说即使他们正在积极使用该应用程序 他们也会被注销 我们使用 PHP 会话来管理用户 会话到期时间设置为 12 小时不活动 我重现了被注销的问题 没有模式

  • C：带有 MinGW 的正则表达式库

    如何将 C 正则表达式安装到 MinGW 中 我正在使用它的 GCC 我正在运行 Windows XP 我更喜欢更新的 您有几个选择 mingw libgnurx http sourceforge net projects mingw fi

  • Elasticsearch 安装：在 ...jvm.dll 处缺少“服务器”JVM 时出错

    下载elasticsearch并解压后 按照此链接中的步骤操作 在 Windows 上安装 Elastic Search https www elastic co guide en elasticsearch reference curre

  • 如何在 ASP.NET MVC3 项目中开始使用 OpenID？

    我想为我的网站 在 asp net mvc3 中 提供身份验证机制 第一个选项是 openID 另一个选项是通过我的网站 我不知道如何开始使用 dotnetopenid 因为它没有好的文档或一些开始的指导 是否有任何视觉文档或任何有用的分步

  • 如何使用Java从网络摄像头获取视频和音频流？

    如何使用 Java 以跨平台方式 从网络摄像头获取视频和音频流 例如 我们有一台带有3 4个USB网络摄像头的计算机 我们希望获取它们的流并使它们在用户界面中可见 我们怎样才能做到这样的事情呢 我需要一个简单应用程序的代码 该应用程序可以找

  • 带有 json 搜索正文的 ElasticSearch POST 与 url 中带有 json 的 GET

    根据 ES 文档 这两个搜索请求应该得到相同的结果 GET http localhost 9200 app users search source query term email email protected cdn cgi l ema

  • 通过部署管理器创建GCP项目

    所以我尝试使用谷歌云部署管理器创建一个项目 我的设置大致如下 Structure Org gt Folder1 gt Seed Project Location where I am running deployment manager f

  • 我可以为边距和填充设置背景颜色吗？

    我想为 a 的边距和填充着色 div 这样我就可以在教育上使用它来表示 CSS 中的盒子模型 如何为这些元素设置颜色 您正在寻找的属性是background clip div width 100px height 100px padding

  • 纯二进制格式 (.bin) 和 Windows 可执行文件 (.exe) 之间有什么区别？

    纯二进制格式 bin 和 Windows 可执行文件 exe 之间有什么区别 我不确定在这种情况下 bin 文件是什么 可以是固件 可以是目标文件 可以是任何东西 这取决于上下文 当谈论可执行文件 Windows 中的 exe 文件 时 这

  • Spark 作业托管在 Jboss 上并尝试连接到 master 时，调用 RpcHandler #receive() 获取单向消息时出错

    部署在 Jboss 服务器上时 我无法连接到 master 上的 Spark 我有一个使用 Java 和 Spark API 设计的应用程序 用于将数据加载到 Oracle 数据库 我已经在 J boss 上部署了这个应用程序 并且在我的本

热门标签