Apache Beam:跳过已构建的管道中的步骤

2024-05-01

有没有办法有条件地跳过已构建的管道中的步骤?或者管道构建是否被设计为控制运行哪些步骤的唯一方法?


通常,管道构造控制将执行管道中的哪些转换。

但是,您可以想象一个输入,多个输出ParDo复用输入PCollection到输出之一PCollections。然后,通过选择将数据传递到哪个输出,您可以动态控制执行哪些步骤——没有任何输入的步骤可能不会执行和/或它们的执行可能无关紧要。

一个相关的功能是“参数化管道”或“模板管道”。这是我们非常感兴趣并且正在积极致力于的事情。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Apache Beam:跳过已构建的管道中的步骤 的相关文章

随机推荐