程序员经验分享-hwhale

在 EMR Spark 应用程序中加载 props 文件

2024-01-11

我正在尝试使用以下方法在我的 Spark 应用程序中加载自定义属性：-

command-runner.jar,spark-submit,--deploy-mode,cluster,--properties-file,s3://spark-config-test/myprops.conf,--num-executors,5,--executor-cores,2,--class,com.amazon.Main,#{input.directoryPath}/SWALiveOrderModelSpark-1.0-super.jar

但是，我遇到以下异常：-

线程“main”中的异常 java.lang.IllegalArgumentException：无效 属性文件“s3://spark-config-test/myprops.conf”。在 org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241) 在 org.apache.spark.launcher.AbstractCommandBuilder.loadPropertiesFile(AbstractCommandBuilder.java:284) 在 org.apache.spark.launcher.AbstractCommandBuilder.getEffectiveConfig(AbstractCommandBuilder.java:264) 在 org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:233) 在组织

这是从 S3 加载文件的正确方法吗？


您无法直接从 S3 加载属性文件。相反，您需要将属性文件下载到主节点的某个位置，然后提交引用该节点上的本地路径的 Spark 作业。您可以使用 command-runner.jar 运行 aws cli 实用程序来进行下载。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apachespark

EMR

amazondatapipeline

在 EMR Spark 应用程序中加载 props 文件 的相关文章

随机推荐

  • 有没有办法获取sql server的内置函数列表？

    SELECT FROM sysobjects WHERE xtype p 上面的查询将为我们提供数据库中所有过程的列表 以同样的方式 如何获取内部函数列表 Try this SELECT name definition type desc

  • RxJS5 最终确定运算符未调用

    当我的所有可观察量都被执行时 我试图触发回调 在我的另一个较旧的项目中 我使用了finally就像这样 这就像一个魅力 this myService callDummy finally gt console log Works subscr

  • 使用客户端证书身份验证创建 .NET Web 服务

    我想将对 NET Web 服务的访问限制为特定的客户端列表 他们会将客户证书附加到每个请求中 并且只有在 在列表中 时才会得到正确的响应 但如何以及在哪里实施这一点的最佳方法是 在 IIS 7 0 上 我可以设置需要客户端证书选项 但在哪里

  • 需要一个同义词数据库[关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 有开源同义词库可供下载吗 它可以是任何格式 最好不是来自 1915 年的词典 我需要一个来合并到数据库

  • 新型 celery api 的问题

    我有一个扩展芹菜的课程Task 它在旧式 API 中运行得很好 但我在将其转换为新 API 时遇到问题 In app tasks py from celery import Celery Task celery Celery celery

  • 从命令行更改 Swing 字体大小

    我正在使用 Swing 应用程序 该应用程序在我的计算机上显示的文本字体尺寸小得离谱 有没有办法从命令行或某种配置文件 例如 类似swing properties file 我无权访问源代码 EDIT 自 Java 9 以来 小字体不再是问

  • 对 Hibernate 驱动的应用程序进行单元测试？ [关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 这可能是一个天真的问题 但我对 junit 和 hibernate 框架都很陌生 我想知道对主要调用 hibernate 的应用程序进

  • 注意：使用未定义的常量 STDOUT - 假定为“STDOUT”

    我正在尝试在 Xampp 中设置 Amazon Aws Php SDK 安装 SDK 后 我尝试使用以下代码从 Amazon S3 下载存储桶

  • 如何将 DataGrid 绑定到 DataTable 全部在代码隐藏中？

    如何在 C 代码后面将 DataGrid 绑定到 DataTable 所有控件都是在运行时生成的 因此请不要使用 XAML 我尝试了 Binding 设置 DataContext 设置 ItemsSource 但都不起作用 Binding

  • Android UiAutomatorViewer 无法检测到某些视图

    我的应用程序在使用 UIAutomatorViewer 时遇到问题 如果您查看屏幕截图 突出显示的 View 应该是带有子 TextView 的 FrameLayout 但您看不到这一点 该活动具有以下 xml

  • Windows 不变文化之谜

    我有一个关于 Windows 不变文化的问题 简而言之 我的问题是 是否存在任意一对字符 c1 和 c2 使得 lower c1 invariant latin general lower c2 Invariant but lower c1

  • 如何用spring正确发布DDD领域事件？

    我正在尝试在我的项目中实现领域驱动设计 这是我的基地Aggregate class public abstract class UUIDAggregate private final DomainEventPublisher domainE

  • 如何通过拖动行来重新排序 Vuetify 数据表中的项目？

    我正在为客户开发 Vuetify Web 应用程序 她希望能够通过拖放行来调整数据表中显示的元素的顺序 但 Vuetify 文档没有解释如何做到这一点 我该怎么做 这是我正在使用的 CodePen https codepen io Nath

  • 删除重复的组合（无论顺序如何）

    我有一个整数数据框 它是所有 n 选择 1 n 的 3 个组合的子集 例如 对于 n 5 它类似于 1 2 3 1 1 2 3 2 1 2 4 3 1 2 5 4 1 3 4 5 1 3 5 6 1 4 5 7 2 1 3 8 2 1 4

  • XSLT：添加节点内部文本

    这是此处发布的其他问题的轻微版本 XSLT 更改节点内部文本 https stackoverflow com questions 2888880 xslt change node inner text 想象一下我使用 XSLT 来转换文档

  • 当应用程序转到后台时暂停和恢复 UIView 动画

    我正在为视图设置动画 我想暂停并恢复它 使用苹果指南我创建了一个 CALayer 扩展 extension CALayer func pause var pauseTime self convertTime CACurrentMediaTi

  • 使用 Meteor 从单独的文件中调用函数

    我想在 Meteor 中创建一个应用程序 根据我对手册的理解 它首先加载的是 子目录 然后按照字母顺序排列 我的文件结构是这样的 server lib client lib game js gt already starts declari

  • 全文搜索条件“control of”中“of”附近存在语法错误

    我有以下内容WHERE clause WHERE Keywords IS NULL OR CONTAINS p Title p Area p Message Keywords If Keywords control 然后查询执行成功并过滤我

  • 在 WF CodeActivity 和 AsyncCodeActivity 之间进行数据库操作选择

    我对 WF 还很陌生 所以如果我第一次没有正确理解这一点 请耐心等待 如果您在一个相当低容量的环境中 每天几百个请求 对一个规范化良好的数据库进行选择 使用主键 返回单个记录 那么是否使用真的有什么不同吗 CodeActivity vs A

  • 在 EMR Spark 应用程序中加载 props 文件

    我正在尝试使用以下方法在我的 Spark 应用程序中加载自定义属性 command runner jar spark submit deploy mode cluster properties file s3 spark config te

热门标签