程序员经验分享-hwhale

Apache Beam：DoFn 与 PTransform

2024-04-17

Both DoFn and PTransform是一种定义操作的方法PCollection。我们如何知道何时使用哪个？


理解它的一个简单方法是类比map(f)对于列表：

  • 高阶函数map将函数应用于列表的每个元素，返回结果的新列表。您可以将其称为计算模式。
  • 功能f是应用于每个元素的逻辑。

现在，转而讨论 Beam 的具体细节，我想您是在问ParDo.of(fn)，这是一个PTransform.

  • A PTransform是一个需要的操作PCollections作为输入和产量PCollections作为输出。 Beam 只有五种原始类型PTransform，封装了令人尴尬的并行计算模式。
  • ParDo是每个元素计算的计算模式。它有一些变化，但对于这个问题你不需要担心这一点。
  • The DoFn，这里我称之为fn，是应用于每个元素的逻辑。

考虑以下事实可能也会有所帮助：you写一个DoFn说明对每个元素要做什么，Beam runner 提供了ParDo应用你的逻辑。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

googleclouddataflow

ApacheBeam

Apache Beam：DoFn 与 PTransform 的相关文章

随机推荐

  • 具有动态别名的动态虚拟主机

    我在用DNSMasq对于此设置 我在使用 Alias 时遇到问题 因为它对于动态虚拟主机根本不起作用 并且不存在这样的事情VirtualAlias在 Apache 文档中 我正在尝试像以前一样设置我的新环境 devtld 但我遇到了问题 因

  • 使用 Unity 3D 移动鼠标时相机跟随玩家

    我有一个简单的脚本 当我转动相机时 可以移动和环顾四周 但相机不随角色转动 我如何让它们一起转动 using System Collections Generic using UnityEngine public class PlayerF

  • React.js - 在表单提交时和之后显示一条消息

    提交表单时 我想显示 请稍候 并在成功提交后显示从服务器返回的数据 使用 jQuery 这很容易做到 但应该有一种 React 方式 因为 React 不喜欢这种直接的 DOM 操作 我认为 1 我对吗 2 如何在表单提交时 而不是之后 显

  • 如何改进此代码的功能[关闭]

    Closed 这个问题需要细节或清晰度 help closed questions 目前不接受答案 a1 input Enter an 8 bit binary number to convert a1 list a1 ok False i

  • JavaFX FXML 控制器 - 构造函数与初始化方法

    My Application类看起来像这样 public class Test extends Application private static Logger logger LogManager getRootLogger Overri

  • 是否可以使用多线程而不需要一遍又一遍地创建线程？

    首先 再次感谢所有已经回答我问题的人 我不是一个经验丰富的程序员 这是我第一次体验多线程 我有一个与我的问题非常相似的例子 我希望这可以缓解我们的情况 public class ThreadMeasuring private static

  • 使用 python 进行简单的 ascii url 编码

    看那个 import urllib print urllib urlencode dict bla 输出是 bla C3 BC 我想要的很简单 我想要 ascii 格式的输出而不是 utf 8 格式的输出 所以我需要输出 bla C3 如果

  • 此链接内的链接和跨度的文本装饰

    我有类似的链接 a href Link text span Link sub text span a 悬停时 我需要跨度内的文本不带下划线装饰 但主链接文本是 是否可以 我试过了 a hover span text decoration n

  • 如何更改列表中的ListStyle

    在 SwiftUI 中List似乎有一个名为ListStyle 如何更改列表的样式 struct ListView View var body some View NavigationView List Item create identi

  • jQuery document.ready 与 pageLoad

    我从另一位开发人员那里挑选了一个现有项目 我在代码中注意到他们正在三个不同的事件处理程序中执行 js 代码 function pageLoad execute code document ready function execute cod

  • ASP.NET MVC 中 ViewModel 的验证

    大多数关于如何在 ASP NET MVC 中实现验证的技巧似乎都以模型为中心 在模型和控制器之间构建服务层 或者使用验证属性装饰模型的属性 在我的应用程序中 我使用 ViewModel 进行控制器和视图之间的所有通信 我的登录页面有一个名为

  • 用glib进行垃圾收集？

    我想将垃圾收集语言 具体来说 它使用古老的 Boehm libgc 与 glib 系列 API 接口 glib 和 gobject 在内部使用引用计数来管理对象生命周期 包装这些的正常方法是使用垃圾收集的对等对象 该对象保存对 glib 对

  • 有“进度按钮”吗？

    我想要一个具有双重功能的按钮作为进度条 例如 随着任务的进展 按钮会填充绿色背景 我知道我可以创建自己的 但如果有现成的东西 我很乐意使用它 有谁知道适合该要求的免费或商业组件吗 我希望它能在 Delphi 2007 中工作 但如果它仅在

  • glBitmap 问题

    我正在使用一些遗留代码来工作 它使用 glBitmap 调用来绘制位图图标 我的问题是 一旦你一次绘制大约 1000 个图标 它就会变得相当慢 它会减慢到大约 1 到 2 秒的刷新率 我想看看是否可以让它更快 首先我应该描述当前代码是如何工

  • 长度为 k 的非重叠子串的随机采样

    给定一个长度的字符串n 我将如何 伪 随机采样m大小子串k这样采样的子串就不会重叠 我的大部分脚本编写经验都是使用 Perl 但任何通用语言的易于运行的解决方案就足够了 如果输入中不能出现某个字符 例如X just my size 20 m

  • 如何删除损坏的图像框？

    我正在尝试构建一个电子邮件模板 其中我必须向不同的邮件客户端 例如 Outlook thunderbird 显示一些图像 现在的问题是 当这些客户端不允许显示图像时 会显示我不想显示的损坏的图像框 我也参考过 参考链接1 https i s

  • 如何将嵌套字典转换为带有键顺序的列表

    我想从嵌套字典中创建一个列表 Name 20 Paul Merrill 21 Brynne S Barr Phone 20 1 313 739 3854 21 939 4818 Address 20 916 8087 Vehicula Rd

  • 调用未定义的方法 mysqli_result::fetch()

    我能够从中获取数据get result 使用任何fetch assoc fetch all 和fetch row 但是当我尝试使用简单的fetch 只是 我收到这个错误 未捕获的错误 调用未定义的方法 mysqli result fetch

  • 应用部分比 Monad 部分可以更好优化的 monad 示例

    在一次讨论中我听说Applicative一些解析器的接口的实现方式不同 但比它们的更有效Monad界面 原因是与Applicative在运行整个有效计算之前 我们提前知道所有 效果 对于 monad 效果可能取决于计算期间的值 因此这种优化

  • Apache Beam：DoFn 与 PTransform

    Both DoFn and PTransform是一种定义操作的方法PCollection 我们如何知道何时使用哪个 理解它的一个简单方法是类比map f 对于列表 高阶函数map将函数应用于列表的每个元素 返回结果的新列表 您可以将其称为

热门标签