Eclipse 上使用 Dataflow Runner 的 Apache Beam MinimalWordcount 示例

2023-12-27

我正在尝试在 Windows 上使用 Eclipse 中的 DataFlowRunner 运行 MinimalWordCount 示例,使用 MinimalWordCount --> 在 Eclipse 中运行作为 Java 应用程序,它与使用我的 gcs 存储桶的示例中的代码相同,但是我始终遇到以下异常,有人可以让我知道这里出了什么问题吗?

  1. 我已验证存储桶名称正确。
  2. 我已经在 Windows 计算机上运行了 gcloud init。

线程“main”中的异常 java.lang.RuntimeException:失败 从工厂方法构造实例 DataflowRunner#fromOptions(接口 org.apache.beam.sdk.options.PipelineOptions) 在 org.apache.beam.sdk.util.InstanceBuilder.buildFromMethod(InstanceBuilder.java:233) 在 org.apache.beam.sdk.util.InstanceBuilder.build(InstanceBuilder.java:162) 在 org.apache.beam.sdk.runners.PipelineRunner.fromOptions(PipelineRunner.java:56) 在 org.apache.beam.sdk.Pipeline.create(Pipeline.java:135) 在 com.dynaobject.apachebeamexperiment.MinimalWordCount.main(MinimalWordCount.java:77) 引起原因:java.lang.reflect.InitationTargetException 在 sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法) 在 sun.reflect.NativeMethodAccessorImpl.invoke(来源未知) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(来源未知) 在 java.lang.reflect.Method.invoke(来源未知) 在 org.apache.beam.sdk.util.InstanceBuilder.buildFromMethod(InstanceBuilder.java:222) ... 4 更多 引起原因:java.lang.IllegalArgumentException:DataflowRunner 需要 gcpTempLocation,但无法从中检索值 管道选项 在 org.apache.beam.runners.dataflow.DataflowRunner.fromOptions(DataflowRunner.java:212) ... 9 更多 引起原因:java.lang.IllegalArgumentException:构造 gcpTempLocation 的默认值时出错:tempLocation 不是 有效的 GCS 路径,gs://tempxyz。在 org.apache.beam.sdk.options.GcpOptions$GcpTempLocationFactory.create(GcpOptions.java:219) 在 org.apache.beam.sdk.options.GcpOptions$GcpTempLocationFactory.create(GcpOptions.java:205) 在 org.apache.beam.sdk.options.ProxyInitationHandler.returnDefaultHelper(ProxyInitationHandler.java:575) 在 org.apache.beam.sdk.options.ProxyInitationHandler.getDefault(ProxyInitationHandler.java:516) 在 org.apache.beam.sdk.options.ProxyInitationHandler.invoke(ProxyInitationHandler.java:155) 在 com.sun.proxy.$Proxy15.getGcpTempLocation(来源未知) 在 org.apache.beam.runners.dataflow.DataflowRunner.fromOptions(DataflowRunner.java:210) ... 9 更多引起原因:java.lang.IllegalArgumentException:输出路径不存在或不可写:gs://tempxyz在 org.apache.beam.sdk.repackaged.com.google.common.base.Preconditions.checkArgument(Preconditions.java:191) 在 org.apache.beam.sdk.util.GcsPathValidator.verifyPathIsAccessible(GcsPathValidator.java:78) 在 org.apache.beam.sdk.util.GcsPathValidator.validateOutputFilePrefixSupported(GcsPathValidator.java:62) 在 org.apache.beam.sdk.options.GcpOptions$GcpTempLocationFactory.create(GcpOptions.java:217) ... 15 更多


文档中的某处提到我需要运行以下命令。

gcloud auth 应用程序-默认登录

显然,异常对解决这个问题没有帮助,我希望它对其他人有帮助。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Eclipse 上使用 Dataflow Runner 的 Apache Beam MinimalWordcount 示例 的相关文章

  • 编写潜在并发问题的证明

    我正在阅读 Java 并发实践 并尝试编写一段代码来表明第 3 5 1 章中作为示例提供的类确实会引入问题 public class Holder public int n public Holder int n this n n publ
  • Java 中的 sscanf 等效项[重复]

    这个问题在这里已经有答案了 可能的重复 用于使用已知模式解析字符串中的值的 sscanf 的 Java 等效项是什么 https stackoverflow com questions 8430022 what is the java eq
  • 修改 Settings.apk 以与 Project Glass 配合使用

    我正在尝试构建要在 Google I O 的 Hacking Glass 会议上在 Glass 上使用的 Settings apk 他提到 为了让设置 apk 正常工作 需要修改清单中的一行 这是 AOSP 清单 http pastebin
  • Android 中的 ImageView 拖动限制

    我在布局中有一个 ImageView 并在 ImageView 上设置 OnTouchListener 来拖动 ImageView 它工作得很好 我的问题是如何防止将 ImageView 移动到布局范围之外 这是我的代码 活动类别 publ
  • Java中的String为什么是不可变的对象,但我在创建一个对象后仍然可以更改它的值? [复制]

    这个问题在这里已经有答案了 如果我可以创建一个字符串并给它一个值 这怎么可能呢 然后 我可以像这样简单地覆盖它的值 String a abc a def 我怎么可能改变的值a 我一定在这里遗漏了一些东西 我知道每当创建 String 对象时
  • spring启动时如何加载@Cache?

    我正在使用 spring cache 来改进数据库查询 其工作原理如下 Bean public CacheManager cacheManager return new ConcurrentMapCacheManager books Cac
  • 正则表达式的替代(流畅?)界面设计

    我刚刚看到了一个巨大的 Java 正则表达式 这让我对正则表达式的一般可维护性进行了一些思考 我相信大多数人 除了一些糟糕的 Perl 贩子 都会同意正则表达式很难维护 我正在考虑如何解决这种情况 到目前为止 我最有希望的想法是使用流畅的界
  • 非法监控状态异常

    如何将轮询线程传递给另一个线程进行处理 程序执行在控制器类中 该类具有 main 方法和线程池 主类控制器 public static void main String args throws InterruptedException Ru
  • Postgres UUID 和休眠

    我有一个具有 UUID 列的实体 它不是主键 我正在使用 Postgres 和 hibernate 我对此专栏的类型是https www postgresql org docs 9 1 static datatype uuid html h
  • 获取运行时提供的类名的 n 维数组的类

    给定一个完全限定的类名和多个维度 我想获取该类的类名 我相信我可以这样做 public Class elementType Class forName className return Array newInstance elementTy
  • 想要从 beanIO 字段名称标签在 csv 中写入标题

    我想在 csv 文件中写入标题 因为我的文本文件不包含任何标题 所以我想从 beanIO 字段名称标签写入它 我有一个 beanIO 有两个流 一个用于读取 另一个用于写入 这是输入文件 文本输入 txt 1 约翰 露 BA xxx1萨姆
  • 关于 mongodb java 驱动程序的困惑[重复]

    这个问题在这里已经有答案了 我是 MongoDB 的初学者 我正在使用 JAVA 驱动程序来使用它 我有以下代码 MongoClient client new MongoClient DB d client getDB world DBCo
  • 如何将捕获的图像写入/粘贴到文档文件?

    我有一个场景 我需要捕获图像并将它们一个接一个地写入到一个word文件中 我已经编写了下面的代码 但似乎不起作用 请帮忙 Robot robot try robot new Robot BufferedImage screenShot ro
  • java POI XSSF 公式评估器

    我在保存新的 Excel 文件时遇到问题 我希望当它被保存时 公式会自行计算 但目前它只是返回 Excel 文件中的一个字符串 公式是正确的 我不知道到底要得到FormulaEvaluator上班 这是我输入返回字符串的公式的地方 data
  • java:验证 GUI 中的所有文本字段是否已完成

    我正在尝试创建一个允许某人设置帐户的 GUI 我想验证按下创建帐户按钮时所有文本字段是否完整 做这个的最好方式是什么 我正在附加我的代码 但我对文本字段是否完整的验证不起作用 参见下面的代码 public class GUIaccounts
  • 更改 Logger 实例的全局设置

    我在用着java util logging Logger http download oracle com javase 1 4 2 docs api java util logging Logger html作为我的应用程序的日志引擎 每
  • Android 布局崩溃

    I use a XWalkView https crosswalk project org 加载网页和视频查看器 https github com Bilibili ijkplayer在我的应用程序中播放实时视频 我希望 IjkVideoV
  • Eclipse Package Explorer 和 Eclipse Project Explorer 之间有什么区别?

    在我看来 这两种观点实际上是相同的 尤其是自伽利略以来 这是真的吗 还是我错过了其中一个或另一个的某些功能 根据Eclipse帮助 Project Explorer 提供了一个分层视图 工作台中的工件 即 根据具体情况定制 您的工作台的配置
  • 如何为 Weblogic 10.3.6 启用 Java 持久性 2.0

    我正在使用 eclipse 和 weblogic 服务器 为了将项目添加到 weblogic 服务器 它需要支持 Java Persistance 2 0 但是当尝试安装它时 我不断收到此消息 在 Weblogic Server 安装中启用
  • 我可以在方法体内使用注释吗?

    允许 Java 注释的语义将它们放置在某处在函数体内 例如注释特定的函数调用 语句或表达式 例如 class MyClass void theFunc Thing thing String s null Catching NullPoint

随机推荐

  • 在某些情况下,`!important` 之前的空格是否重要?如果重要,那么什么时候重要?为什么?

    我一直在尝试scssphp http leafo net scssphp 一个 PHP SCSS 编译器 特别是它的压缩的格式化程序 这会输出类似的内容 注意闭花括号之前的额外空格和分号 navbar margin bottom 0px i
  • 在 C# 中从字符串(包括 HTML 标签)创建字典或列表

    A 有一个像这样的字符串 string s tr td 11 td td 12 td tr tr td 21 td td 22 td tr tr td 31 td td 32 td tr 如何创建Dictionary
  • Cocoapods平台,到底是什么意思?

    我不清楚改变平台价值会产生什么影响 有人可以详细说明吗 这是否仅仅意味着如果不满足库的最低版本要求 就会抛出错误 https guides cocoapods org syntax podfile html platform https g
  • Android 禁用预测文本

    我想禁用预测短信 当我们通过软键盘输入时 预测短信不应出现 我只需要禁用预测短信的代码 有人可以帮助我吗 您可以在 XML 布局中设置 inputType 属性 或者使用这些值中的一个或多个 用 分隔 调用 setInputType 要禁用
  • pandas 中的分组日期索引

    我有一个数据框 如下所示 In 101 import pandas as pd df pd DataFrame date 2014 06 30 2014 06 30 2014 06 29 2014 06 29 2014 06 29 valu
  • 如何查找类中 DateTime 类型的所有属性?

    我需要调整一堆对象的日期时间 我想循环访问该类的属性 如果类型是 dateTime 则进行相应调整 我可以使用任何内置的 描述类型 吗 您可以使用反射 http msdn microsoft com en us library ms1731
  • 如何使我的单例类可扩展?

    我们的静态库之一中有一个单例类 它是一个单例 因为我们希望能够始终 记住 它的状态 本质上它是一个用户管理单例 它有一个属性User user它有诸如 void authenticateUser 我们希望将其交付给想要创建自己的客户 voi
  • 如何强制android将应用程序安装到内存上

    我有一个从私人服务器下载的应用程序 它可以在大多数手机上安装 但我在 HTC Desire C 上安装它时遇到问题 该手机没有 SD 卡 我四处搜索 发现一个清单设置应该暗示内部存储 或者说至少没有对应用程序安装位置的偏好
  • Visual Studio:我可以复制项目的属性以在另一个项目中使用吗?

    我添加了几个目录 库 例如 matlab opencv 等 来编译 Visual Studio 项目中当前的 C 文件 我即将进行的所有项目都需要相同的设置 属性 我是否需要单独设置每个项目的属性 或者我可以做一些事情将其应用到所有项目 尝
  • 检测音量按钮按下并释放 iOS [重复]

    这个问题在这里已经有答案了 可能的重复 程序访问 iPhone 音量按钮 https stackoverflow com questions 772832 program access to iphone volume buttons 是否
  • 如何合并单个数据框中具有相同索引的行?

    我有一个如下所示的数据框 A B C 1 1234 Win 1 2345 Win 2 1987 Loss 3 3456 Win 3 4567 Win 我希望这成为 A B C 1 1234 2345 Win 2 1987 Loss 3 34
  • 路由到子路由模块,无需延迟加载

    我想要多个routing模块 以保持我的应用程序干净且易于阅读 我目前使用延迟加载SubComponent但我不想这样做 所以我正在寻找一种方法来改变这种情况 无论如何 这是当前正在工作的代码 我有以下两个路由文件 app routing
  • C 中的函数模拟?

    我正在编写一个单元测试来检查一些 API 调用 我正在使用检查来测试 我的模块是使用 CMake 构建的 如果重要的话 我不知道 我的测试调用一个函数 我需要测试 并且该函数调用另一个二进制文件 它的简化版本看起来像这样 unitTest
  • jQuery isFunction 检查错误“函数未定义”

    我想在尝试运行函数之前检查它是否存在 这是我的代码 if isFunction myfunc console log function exist run it 但是 当该功能不可用时 我收到错误 myfunc 未定义 我该如何进行检测 这
  • egit 中被拒绝的非快进问题

    我已经从分支 2 0 结帐了 现在我对其中一个文件进行了更改 我想将其提交到分支 即 2 0 分支 所以我右键单击文件 选择团队 gt 提交选项 我要求我选择分支 所以我选择了 2 0 和存储库 url 当我点击时 commit push
  • conda 错误:无法导入 zstandard

    我的 Conda 在 Ubuntu 18 04 上 出现以下错误消息 但所有功能都运行正常 home td7920 miniconda3 lib python3 8 site packages conda package streaming
  • App Engine 端点 API - 具有自定义域的 404

    我正在尝试将自定义域与应用程序引擎一起使用 本地主机一切正常并且应用程序点网址 https conference center 1177 appspot com 但与自定义域 https cc mdsarowar me 端点 API 不起作
  • Cakephp 翻译行为的默认行为不起作用

    谁能告诉我为什么当字段没有翻译时它会返回空 而不是默认翻译 我会感激所有的建议 不知道你想看我的代码的哪一部分 因为它都是直接来自 www book cake org 的 所以我粘贴一些代码 型号定义
  • 在 Linux 上安装 NPM

    我的目的是安装 angularjs 为此 我需要 gt npm 所以我想安装nodejs以获得 NPM 但我有这个错误 File configure line 16 in
  • Eclipse 上使用 Dataflow Runner 的 Apache Beam MinimalWordcount 示例

    我正在尝试在 Windows 上使用 Eclipse 中的 DataFlowRunner 运行 MinimalWordCount 示例 使用 MinimalWordCount gt 在 Eclipse 中运行作为 Java 应用程序 它与使