java.lang.NoClassDefFoundError:迁移到数据流 2.x 后的 org/apache/beam/sdk/runners/PipelineRunner

2024-01-28

获取运行时错误:

"java.lang.NoClassDefFoundError: org/apache/beam/sdk/runners/PipelineRunner"

即使我的 pom.xml 中有以下内容

<dependency>
        <groupId>com.google.cloud.dataflow</groupId>
        <artifactId>google-cloud-dataflow-java-sdk-all</artifactId>
        <version>[2.1.0, 2.99)</version>
    </dependency>

迁移到 2.X 后,所有编译时错误均已解决,但开始出现运行时错误。

mvn 在该项目上进行编译也报告成功。就在我尝试从 Eclipse 运行管道时出现此错误。


我在下面添加了我的pom.xml并删除了所有运行配置文件pom.xml错误已解决。

<dependency>
      <groupId>org.apache.beam</groupId>
      <artifactId>beam-runners-google-cloud-dataflow-java</artifactId>
      <version>[2.1.0, 2.99)</version>
    </dependency>
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

java.lang.NoClassDefFoundError:迁移到数据流 2.x 后的 org/apache/beam/sdk/runners/PipelineRunner 的相关文章

  • Google 数据流,DATA_LOSS 异常

    我从谷歌数据流中得到了低于 DATA LOSS 的异常 我有 10 15 个 Json 文件 每个文件大小约为 2 3 MB 我正在使用 jackson2 解析文件 使用 ParDo 进行一些转换 最后进行 group by 来删除重复的项
  • 如何从 Apache Beam KafkaIO 中的 kafka 主题推断 avro 架构

    我正在使用 Apache Beam 的 kafkaIO 来读取 Confluence 模式注册表中具有 avro 模式的主题 我能够反序列化消息并写入文件 但最终我想写信给 BigQuery 我的管道无法推断架构 如何提取 推断架构并将其附
  • 从 Dataflow 将嵌套架构写入 BigQuery (Python)

    我有一个数据流作业要写入 BigQuery 它适用于非嵌套模式 但不适用于嵌套模式 这是我的数据流管道 pipeline options PipelineOptions p beam Pipeline options pipeline op
  • 在 DirectPipelineRunner 上使用自定义 DataFlow 无界源

    我正在编写一个从 Kafka 0 8 读取的自定义 DataFlow 无界数据源 我想使用 DirectPipelineRunner 在本地运行它 但是 我得到以下堆栈跟踪 Exception in thread main java lan
  • Go SDK Apache Beam:单例侧输入 Singleton for int 定义不明确

    使用适用于 Apache Beam 的 Go SDK 我尝试使用侧面输入创建 PCollection 的视图 但我收到这个奇怪的错误 Failed to execute job on ctx making side input 0 sing
  • Python + Beam + Flink

    我一直在尝试让 Apache Beam 可移植性框架与 Python 和 Apache Flink 一起使用 但我似乎找不到一套完整的指令来让环境正常工作 是否有任何参考资料包含使简单的 python 管道正常工作的先决条件和步骤的完整列表
  • google cloud dataflow (apache beam)可以使用ffmpeg来处理视频或图像数据吗

    数据流进程可以使用 ffmpeg 处理视频或图像吗 如果可以 示例工作流程会是什么样子 是的 您可以使用以下命令确保工作人员可以使用必要的二进制文件 及其依赖项 filesToStage 管道选项 https cloud google co
  • Google Cloud Dataflow:通过命令行参数指定 TempLocation

    我尝试通过将其作为命令行中的选项传递来指定我的 GCS 临时位置 如下所示 java jar pipeline 0 0 1 SNAPSHOT jar runner DataflowRunner project
  • 数据流/apache beam 窗口中字节数的触发窗口

    我有一个简单的工作 将数据从 pub sub 移动到 gcs pub sub 主题是一个共享主题 具有许多不同大小的不同消息类型 我希望结果在 GCS 中相应地垂直分区 架构 版本 年 月 日 该父键下应该是当天的一组文件 并且文件的大小应
  • 如何停止谷歌云数据流中的流管道

    我有一个正在运行的流数据流来读取 PUB SUB 订阅 一段时间后或者可能是在处理一定量的数据后 我希望管道自行停止 我不希望我的计算引擎实例无限期地运行 当我通过数据流控制台取消作业时 它显示为失败的作业 有办法实现这一点吗 我错过了什么
  • Google Cloud Dataflow (Python):读取和写入 .csv 文件的函数?

    我无法弄清楚 GCP Dataflow Python SDK 中读取和写入 csv 文件 或任何非 txt 文件 的精确函数 对于BigQuery 我已经弄清楚了以下功能 beam io Read beam io BigQuerySourc
  • 根据行内容指定动态生成的表名

    我想设置从 gcs 存储桶中的文件读取数据流管道 然后写入 bigquery 表 需要注意的是 要写入的表应根据从 gcs 文件中读取的行的内容来决定 我的问题是 这可能吗 如果是 有人可以给我任何关于如何实现这一目标的提示吗 此外 必须进
  • Cloud Dataflow 中的作业失败:启用 Dataflow API

    我目前正在尝试将 Dataflow 与 Pub Sub 结合使用 但收到此错误 工作流程失败 原因 6e74e8516c0638ca 刷新您的凭据时出现问题 请检查 1 为您的项目启用Dataflow API 2 您的项目有一个机器人服务帐
  • 从 Dataflow 进行流式传输时从 BigQuery 删除数据

    从 Apache Beam 管道加载数据时是否可以从 BigQuery 表中删除数据 我们的用例是这样的 我们需要根据时间戳字段 Dataflow 从 Pubsub 主题提取消息的时间 从表中删除 3 天前的数据 是否建议这样做 如果是 有
  • 在 Cloud Dataflow 中进行 ETL 和解析 CSV 文件

    我是云数据流和 Java 的新手 所以我希望这是正确的问题 我有一个 csv 文件 其中有 n 个列和行 可以是字符串 整数或时间戳 我需要为每一列创建一个新的 PCollection 吗 我在示例中找到的大多数文档都类似于 PCollec
  • 从 Dataflow 写入 BigQuery - 作业完成时不会删除 JSON 文件

    我们的 Dataflow 作业之一将其输出写入 BigQuery 我对其幕后实现方式的理解是 Dataflow 实际上将 JSON 格式的结果 分片 写入 GCS 然后启动 BigQuery 加载作业以导入该数据 但是 我们注意到 无论作业
  • 如何从 Apache Beam 中的 HTTP 响应读取大文件?

    Apache Beam 的 TextIO 可用于读取某些文件系统中的 JSON 文件 但如何从 Java SDK 中的 HTTP 响应产生的大型 JSON InputStream 中创建 PCollection 我认为 Beam 目前没有通
  • 压缩保存在Google云存储中的文件

    是否可以压缩已保存在 Google 云存储中的文件 这些文件由 Google 数据流代码创建和填充 数据流无法写入压缩文件 但我的要求是将其保存为压缩格式 标准 TextIO Sink 不支持写入压缩文件 因为从压缩文件中读取的可扩展性较差
  • 将新文件添加到 Cloud Storage 时触发 Dataflow 作业

    我想在将新文件添加到存储桶时触发数据流作业 以便处理新数据并将其添加到 BigQuery 表中 我看到云函数可以被触发 https cloud google com functions calling google cloud storag
  • 如何在流式管道中按小捆绑的 N 个元素进行批处理?

    我已经按照此答案中的描述实现了 N 个元素的批处理 谷歌数据流管道中的数据存储输入可以一次处理一批 N 个条目吗 https stackoverflow com questions 35065109 can datastore input

随机推荐

  • 将日志文件转换为 json?

    我有以下格式的日志文件 我需要使用 python 将日志文件转换为 json 文件 怎样才能制作出来呢 2015 07 13 00 03 05 976 hostname 1499918592344 UZA Anonymous Anonymo
  • 不带无参数 DbContext 和 DbContextFactory 构造函数的 Add-Migration

    我的应用程序没有无参数构造函数DbContext实现 我不喜欢提供无参数构造函数IDbContextFactory lt gt 执行 原因是我想控制 DbContext 指向的位置 这就是为什么我的所有构造函数都会请求 Connection
  • Unicode 转换为 ASCII 如何知道将 Ł 映射到 L

    我惊讶地发现没有 Unicode 规范化 字符将其映射为类似的东西L combining stroke 这是我理解原因的最佳解释 映射到L而不是 从支持 Unicode 的编码转换为 ASCII 或不具有 Unicode 功能的代码页时 特
  • C# 中的 ONVIF api 捕获图像

    我有一个 ONVIF 网络摄像机 我想从相机捕获图像 以便可以处理该图像并将其保存到文件系统 我发现有一个onvif api提供了一个方法GetSnapshotUri这应该为我提供图像快照 http www onvif org onvif
  • npm 错误! enoent ENOENT: 没有这样的文件或目录,打开 'C:\Users\...\package.json'

    我正在做一个关于 VueJS 的教程 我对此完全陌生 所以不太确定我在做什么 我按照所有说明进行操作 安装了所有软件包 这是我在 VSCode 终端中进行的检查 PS C Users Documents Vue Getting Starte
  • 使用 Thoughtbot Bourbon/Neat 重新排序列

    我正在寻找有关如何使用 Thoughtbot 的 Neat 网格框架在不同断点处重新排序 移动列位置的最佳解决方案 I would like to shift elements in my header from this in deskt
  • 将文件直接导入到 SVN 存储库,无需先签出

    我正在使用 SVN 并且在远程计算机上有一个存储库 有时 在本地计算机上工作时 我意识到需要向存储库添加一些新文件 我知道的通常程序是 在我本地计算机上的当前文件夹中签出整个 SVN 存储库 进入那里 将有趣的文件复制到此处 commit
  • 放弃 const of *this 是否会导致未定义的行为?

    以下代码可编译 看起来运行良好 但这会导致任何未定义的行为吗 我想抛弃 const this 这是为了允许const my iterator改变它指向的数据 Test class A public A const int x x x voi
  • 如何在C++中计算欧拉常数或欧拉幂?

    我正在尝试找到更 自然 的方式来使用该号码e在 C C 中 我专注于计算函数e n 我认为 cmath 默认情况下不提供对两者 函数和常量 的支持 但是 可以启用它来包含编译器定义的常量 在这种情况下 M E 这可以通过包含语句来完成 de
  • 基于开始和结束时间的一天中最活跃的时间

    我正在记录社区中玩家的统计数据 对于他们的在线状态和游戏内状态 我会在它们 开始 和 结束 时进行注册 为了显示一天中最活跃的一天和一小时 我想使用一个 SQL 语句来根据 开始 和 结束 日期时间值来测量最活跃的时刻 看着SQL 从数据库
  • 圆形页面指示器 - 如何更改填充颜色变化

    我在用着查看寻呼指示器 具体来说圆形页面指示器在我的 Android 应用程序中 要求是填色会直接移动到指示器的下一个圆圈 不会出现图中的情况 分页时圆圈移动缓慢 停留在中间 我怎样才能做到这一点 你可以在你的 xml 上试试这个
  • BeautifulSoup 表到数据框

    似乎无法将表中的值正确复制到数据框中 如果运行 raw data 它会输出所有值的列表 知道如何使其结构化吗 pop source requests get http zipatlas com us tx austin zip code c
  • ASP.NET 中的 Cookie 问题。在response.redirect之后恢复值

    我花了很多时间在这上面 这太疯狂了 我有一个页面基类 其中包含 setcookie 函数 基本上是这样的 Dim context As HttpContext System Web HttpContext Current If contex
  • Elm:Json 解码器时间戳到日期

    我正在尝试将时间戳 例如 1493287973015 从 JSON 转换为日期类型 到目前为止 我创建了这个自定义解码器 stringToDate Decoder String gt Decoder Date stringToDate de
  • Windows Azure 网站的 SSL 证书[关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我一直在使用新的 Windows Azure 网站预览版为客户构建网站 我最近部署了该网站 并将其移至保留实例 以便我可以根据客户的要求为
  • 预打包数据库存在无效架构错误

    我正在基于旧的 Android 项目构建 Android 应用程序 在我的新应用程序中 我使用 Room 我必须使用第一个项目中使用的相同数据库 此外 我使用 com amitshekhar android debug db 库从第一个项目
  • 无法打开终端 - java.io.IOException:无法创建 PTY”

    我尝试在 android studio 中打开终端 但每次我按下它时 它都会显示 java io IOException 无法创建 PTY 如何解决这个问题 我通过打开Settings gt Tool gt Terminal解决了这个问题
  • 获取 ListPreference 选择的键,而不是值 - 可能吗?

    得到value当前所选项目的ListPreference很简单 String selected sharedPrefs getString getString R string list preference array default s
  • JavaScript 中的 HTML“onclick”事件(在表格中)

    我正在尝试将用 HTML 编写的表格转换为 Javascript 因为我希望动态生成表格 行数 我遇到的主要问题是表中的各个单元格是可单击的并打开另一个 html 页面 不幸的是 html onclick 参数不适用于document wr
  • java.lang.NoClassDefFoundError:迁移到数据流 2.x 后的 org/apache/beam/sdk/runners/PipelineRunner

    获取运行时错误 java lang NoClassDefFoundError org apache beam sdk runners PipelineRunner 即使我的 pom xml 中有以下内容