程序员经验分享-hwhale

Apache Flink 环境中的 AWS SDK 冲突

2024-03-17

我正在尝试将我的作业部署到 Flink 环境，但总是收到错误：

java.lang.NoSuchMethodError: com.amazonaws.AmazonWebServiceRequest.putCustomQueryParameter(Ljava/lang/String;Ljava/lang/String;)

我尝试从我的 jar 中包含/排除 aws-sdk，但没有帮助。

有谁知道如何解决这些冲突？


Apache Flink 默认将许多类加载到其类路径中。你的问题只是版本冲突。

请阅读本文的最后一部分https://ci.apache.org/projects/flink/flink-docs-release-1.3/monitoring/debugging_classloading.html https://ci.apache.org/projects/flink/flink-docs-release-1.3/monitoring/debugging_classloading.html

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

awssdk

apacheflink

Apache Flink 环境中的 AWS SDK 冲突 的相关文章

  • Flink 模式演化不适用于 POJO 类

    我有一个类满足被视为 POJO 的要求 这是我的流媒体工作中的主要传输类 它只包含原语和Map

  • 如何在 Flink 中引用外部 Jar

    每个人 我尝试在所有任务管理器中以将其复制到 FLINK lib 的方式在 Flink 中引用我的公司 jar 但失败了 而且我不想打包一个胖罐子 太重而且浪费时间 我认为第一种方法也不是一个好主意 因为我必须管理整个集群中的jar 有谁知

  • AWS Lambda 调用函数（js sdk）：超时重置为默认值

    我正在运行一个 Meteor Node 4 4 7 应用程序 该应用程序在 AWS Lambda 上执行长时间操作 我从代码中调用 lambda 函数并等待响应 然后再继续下一次调用 我将超时设置为 300000ms 如前一个问题 http

  • Haste 模块命名冲突：使用 AWS 服务响应本机应用程序（Amplify 项目）

    我已经开始使用 React Native 项目 之前是使用本机代码 我想添加 Amazon Lex 因此请按照链接中的以下步骤操作 https aws amplify github io docs js interactions https

  • Flink：处理数据早于应用程序水印的键控流

    我正在使用带有运动源和事件时间键控窗口的 F link 该应用程序将监听实时数据流 窗口 事件时间窗口 并处理每个键控流 我有另一个用例 我还需要能够支持某些关键流的旧数据的回填 这些将是事件时间 鉴于我正在使用水印 这会成为一个问题 因为

  • 示例 flink 作业的错误消息：无法使字段 private Final byte[] java.lang.String.value 可访问

    我正在开始使用 Apache Flink 我将发布我遇到的错误 然后复制它的步骤 这是我运行的命令 bin flink run examples streaming WordCount jar input 这是错误文本 org apache

  • Apache Flink 检查点卡住

    我们正在运行一个 ListState 介于 300GB 到 400GB 之间的作业 并且有时该列表可能会增加到数千 在我们的用例中 每个项目都必须有自己的 TTL 因此我们使用 S3 上的 RocksDB 后端为此 ListState 的每

  • Flink TaskManager 超时？

    我正在运行 Flink 应用程序 通过 Yarn 似乎有时任务管理器会随机超时 这是错误 java util concurrent TimeoutException Heartbeat of TaskManager with id some

  • 在认知池触发器下拉选择中添加别名 lambda 函数

    我创建了一个 lambda 函数 发布了它的一个版本 并将该版本指向一个别名 我的 lambda 函数的 ARN ARN arn aws lambda aws region aws id 函数 函数名称 生产 因此 在认知池触发器中 我需要

  • Lambda S3Event 的 AWS 开发工具包 V2 类是什么？

    For the Java SDK V1 I have a lambda function like this public static void doSomethingLambda S3Event s3Event throws Excep

  • 是否可以使用 AWS PHP SDK 将子域添加到 Route53？

    我正在开发一个项目 我们将在 Route53 中创建子域和域 我们希望有一种方法可以通过编程来完成此操作 PHP 文档的 SDK 似乎有点简单 但看起来 createHostedZone 可用于创建域或子域记录 changeResource

  • Flink 的简单 hello world 示例

    我正在寻找 Apache flink 的 hello world 体验的最简单的示例 假设我刚刚在一个干净的盒子上安装了 flink 那么为了 让它做某事 我需要做的最低限度是什么 我意识到这很模糊 这里有一些例子 来自终端的三个 pyth

  • Flink 流顺序

    Flink 能保证流的执行顺序吗 我有两个 Kafka 主题 每个主题都有一个分区 流 1 和流 2 并使用keyBy 流由一个处理coprocess功能 在我的测试过程中 我可以看到两个流的内容并不总是按顺序执行 我可以将并行度设置为 1

  • 停止自定义 logback 异步附加程序的正确方法

    我使用 Amazon 的 Java SDK 创建了 Amazon SQS 和 SNS logback 附加程序 基本附加程序使用同步 Java API 但我还通过扩展创建了两者的异步版本ch qos logback classic Asyn

  • Number 类型的 DynamoDB 属性中可以存储多少位整数数据？

    DynamoDB 的Number https docs aws amazon com amazondynamodb latest developerguide HowItWorks NamingRulesDataTypes html How

  • 将数据从 Dynamodb 发送到 Amazon Elasticsearch 的最佳方式

    我想知道将数据从 dynamoDB 发送到 elasticsearch 的最佳方式是什么 AWS SDK js https github com Stockflare lambda dynamo to elasticsearch blob

  • 如何在boto3中为AWS EC2实例设置标签

    我是新来的Boto3 并且想要创建 VPC 子网和一些 ec2 实例 基本架构是拥有一个 VPC 2 个不同可用区 us east 1a 和 b 内的 2 个子网 并应用一个允许SSH and ping 我的问题是如何指定其他选项对于每个资

  • 如何正确处理自定义MapFunction中的错误？

    我已经实施了MapFunction对于我的 Apache Flink 流程 它正在解析传入元素并将其转换为其他格式 但有时会出现错误 即传入数据无效 我看到两种可能的处理方法 忽略无效元素 但似乎我无法忽略错误 因为对于任何传入元素 我必须

  • 节点 aws-sdk s3 文件上传大小

    当使用 Node js 的 aws sdk npm 插件时 我可以使用以下代码上传 50kb 的 pdf 到 AWS s3 var params Bucket BUCKET Key pdf key Body file ContentType

  • AWS JS SDK TypeError：STS 不是构造函数

    我有一个 ReactJS 应用程序 它使用 aws sdk 进行认知登录 我用了yarn安装所有模块 但是当我尝试访问 localhost 的网站时 出现 JS 错误 未捕获 承诺中 类型错误 STS 不是构造函数 错误指向该行aws sd

随机推荐

  • 如何使 pdb 识别出运行之间的源已更改？

    据我所知 pdb 无法识别源代码在 运行 之间何时发生更改 也就是说 如果我正在调试 注意到一个错误 修复该错误 然后在 pdb 中重新运行程序 即不退出 pdb pdb 将不会重新编译代码 即使 pdb 列出了新的源代码 我仍然会调试旧版

  • 谁在我的类中调用 PaintComponent() 方法？

    我有一个简单的类 可以在 JPanel 中绘制图形 这是我的课 import java awt Color import java awt Dimension import java awt Graphics import javax sw

  • 使用 ARKit 拍摄高质量照片

    我对使用 ARKit 跟踪手机位置以使用相机自动拍照的功能感兴趣 我的初步调查让我了解到 虽然 ARKit 使用相机 但使用标准 AVFoundation 方法不可能获得高质量图像 由于正在使用相机 我明白我可以使用sceneView sn

  • 如何将初始状态传递给减速器

    我目前使用一个减速器创建我的商店 该减速器已传递给它初始状态 import reducers from reducers const store createStore reducers initialState compose enhan

  • 将 ios 小部件添加到现有的反应本机项目后无法构建：找不到架构 x86_64 的符号

    我有一个现有的react native项目 在创建新的ios小部件目标后 不修改任何内容 然后构建 我收到编译错误 Undefined symbols for architecture x86 64 swift getOpaqueTypeC

  • 如何使用网格或其他控件在 WPF 中布局表单以实现可维护性[关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 我有一个 WPF 表单 我想在其上放置一个标准表单 每个表单元素都有一个标签 然后是一个控件 相当标准的东西 如果我使用包裹面板 它可

  • Qt 支持 OpenMP 吗？

    我在 Visual Studio 项目中使用 OpenMP 目前非常认真地考虑更改为 QT Creator Visual Studio 不是很糟糕吗 我对微软的期望更高 但无论如何 QT Creator 支持 OpenMP 吗 如果出现这种

  • Django 通道自定义身份验证中间件 __call__() 缺少 2 个必需的位置参数：“接收”和“发送”

    我正在为 django 通道编写一个自定义身份验证中间件 class TokenAuthMiddleware def init self inner Store the ASGI application we were passed sel

  • 无法摆脱 GDB 中的“值已被优化掉”

    我正在调试CPython可执行的GDB尽管禁用了所有变量 但仍无法获取某些变量的值GCC优化 gdb print co value has been optimized out gdb frame 0 PyEval EvalFrameDef

  • 使用 GD 在图像上写入文本不起作用

    我在用着PHP 7 4当我尝试使用在图像上写文字时imagettftext 功能没有任何反应只有空白图像 当我回滚到PHP 5 6它工作完美 我已经确认 GD 已启用并且我在 Windows 操作系统下 这是我的代码 我已将其复制自php

  • 为什么 O(n) 优于 O( nlog(n) )？

    我刚刚发现了这个奇怪的发现 在普通数学中 n logn 会小于 n 因为 log n 通常小于 1 那么为什么 O nlog n 大于 O n 呢 即为什么nlogn被认为比n花费更多的时间 Big O 是否遵循不同的系统 事实证明 我误认

  • 如何在 Elasticsearch 中或在 Lucene 级别进行联接

    在 Elasticsearch 中执行相当于 SQL 连接的最佳方法是什么 我有一个包含两个大表的 SQL 设置 Persons 和 Items 一个人可以拥有many项目 人员和项目行都可以更改 即更新 我必须运行根据人和物品的各个方面进

  • python中连接变量名

    我有一组表名 1 EOM 2 STMT 3 LOOKUP etc 我想将这些表名称与一些变量名称相关联 例如 1 start time 2 end time 3 total time etc 我想写这些变量名的方式是这样的 1 start

  • 尽管启用了实验性 JS，ECMAScript 6 仍无法工作

    我有最新的 Chrome 版本 45 以及版本 47 的 Chrome Canary 两者都启用了实验性 JavaScript 标志 我想使用 ECMAScript 6 但它不起作用 我不知道为什么 是否还有任何技巧或其他标志也必须启用 E

  • 关闭呈现的视图控制器后推送视图控制器

    我有这个导航堆栈 RootVC gt VC1 gt 呈现 gt ModalVC 我有VC2 不在导航堆栈中 演示时ModalVC 我想单击 ModalVC 中的按钮来关闭 ModalVC 然后推送VC2之后进入导航堆栈VC1一键点击 它应该

  • 如何在 PHP 中将 PDF 文档转换为预览图像？ [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 将 PDF 文档的一部分渲染为图像文件需要哪些库 扩展等 我发现的大多数 PHP PDF 库都以创建

  • 了解右值引用

    我认为我对右值引用不太理解 为什么以下无法编译 VS2012 并出现错误 foo cannot convert parameter 1 from int to int void foo int void bar int x foo x 我会

  • Google Datastore查询NodeJS应用程序如何获取实体的ID

    我有一个使用 Google Datastore 的 NodeJS 应用程序 我设置了一个基本查询 它可以从数据库返回数据 问题 如何检索返回的每个实体的 ID 我需要结果集中的 ID 以便可以在 UI 上向用户显示它 这是到目前为止的 No

  • iOS Appstore应用程序覆盖企业应用程序

    我公司拥有Appstore和企业发行许可证 我们将通过企业许可证使用当前的测试版进行演示 一些用户将下载企业应用程序来测试测试版本 应用商店发布后 我们希望应用商店应用程序覆盖演示期间下载的企业测试版 这样 下载测试版应用程序的人就可以切换

  • Apache Flink 环境中的 AWS SDK 冲突

    我正在尝试将我的作业部署到 Flink 环境 但总是收到错误 java lang NoSuchMethodError com amazonaws AmazonWebServiceRequest putCustomQueryParameter

热门标签