是否可以只用一名协调员启动一些 oozie 工作流程?

2024-01-20

我不确定是否可以使用这个好工具来实现我想要的目的。

我有很多工作流程,这些工作流程可以是依赖的,也可以是非依赖的。

示例:

  1. /workflow1
    • /工作流程.xml
    • /job.properties
  2. /workflow2
    • /工作流程.xml
    • /job.properties
  3. ....

我认为我们可以有一个协调器,可以启动(在某些数据条件下)所有工作流程。但我开始认为这不是好的做法。

我们是否应该为每个工作流配备一名具备所有执行条件的协调员 + 一个启动所有协调员的捆绑包?像那样 :

  1. /wf1
    • /工作流程.xml
    • /job.properties
    • /协调员.xml
  2. /wf2
    • /工作流程.xml
    • /job.properties
    • /协调员.xml
  3. /bundle.xml

或者一名协调员可以启动所有工作流程(它们可以是相关的,也可以不是)?

  1. /wf1
    • /工作流程.xml
    • /job.properties
  2. /wf2
    • /工作流程.xml
    • /job.properties
  3. /协调员.xml

这取决于。如果 wf1 和 wf2 在逻辑上相关、具有相同的频率并且具有共同的数据集依赖性,则可以将它们放在一个协调器上(并同时或依次运行它们)。但如果不是,最好将它们放在单独的协调器中。

您可以使用以下命令从一个工作流程启动多个工作流程sub-workflow特征:

<workflow-app name="root-workflow" xmlns="uri:oozie:workflow:0.4">
    <start to="run-wf1"/>
    <action name="run-wf1">
        <sub-workflow>
            <app-path>${appPath}/wf1.xml</app-path>
            <propagate-configuration/>
        </sub-workflow>
        <ok to="run-wf2"/>
        <error to="kill"/>
    </action>
    <action name="run-wf2">
        <sub-workflow>
            <app-path>${appPath}/wf2.xml</app-path>
            <propagate-configuration/>
        </sub-workflow>
        <ok to="end"/>
        <error to="kill"/>
    </action>
    <kill name="kill">
        <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

如果您想同时运行它们,请使用分叉。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

是否可以只用一名协调员启动一些 oozie 工作流程? 的相关文章

  • ruby 2.0.0 捆绑包在 Gemfile 上失败并显示“key: value”

    我正在尝试使用 Gemfile 更新我的 gem 但总是在同一行失败 Gemfile group doc do gem sdoc require false end Command bundle update 我总是收到这个错误 Gemfi
  • Curl下载到HDFS

    我有这个代码 curl o fileName csv url xargs hdfs dfs moveFromLocal 1 somePath 当我执行此代码时 curl 将请求中的值放入 fileName csv 中 该文件将移动到 HDF
  • java.io.IOException:无法获取 LocationBlock 的块长度

    我正在使用 HDP 2 1 对于集群 我遇到了以下异常 并且 MapReduce 作业因此失败 实际上 我们定期使用 Flume 版本的数据创建表 1 4 我检查了映射器尝试读取的数据文件 但我找不到任何内容 2014 11 28 00 0
  • 如何覆盖 Symfony2 包中的实体

    我在用着FOS用户包 for Symfony2 我需要能够注册一个用户不验证电子邮件是否唯一 我只需要一个有效的电子邮件 所以许多用户可以拥有相同的电子邮件 我知道这很奇怪 但我需要它 我在捆绑包中有一个实体 用户 扩展 FOSUserBu
  • Spark超时可能是由于HDFS中文件超过100万个的binary Files()

    我正在通过以下方式读取数百万个 xml 文件 val xmls sc binaryFiles xmlDir 该操作在本地运行良好 但在纱线上失败并显示 client token N A diagnostics Application app
  • Hive查询快速查找表大小(行数)

    是否有 Hive 查询可以快速查找表大小 即行数 而无需启动耗时的 MapReduce 作业 这就是为什么我想避免COUNT I tried DESCRIBE EXTENDED 但这产生了numRows 0这显然是不正确的 对新手问题表示歉
  • 2017 年在 OS X 上从源代码构建 Apache Hadoop

    到目前为止 我已经分叉了 Git 存储库 https github com apache hadoop 我一直在寻找有关如何从源代码构建的信息 我尝试过以下命令 mvn package Pdist Dtar DskipTests 这导致了以
  • 猪如何过滤不同的对(对)

    我是猪的新手 我有一个 Pig 脚本 它在两个元素之间生成制表符分隔的对 每行一对 例如 John Paul Tom Nik Mark Bill Tom Nik Paul John 我需要过滤掉重复的组合 如果我使用 DISTINCT 我会
  • 如何共享/扩展/重用/引用 GitHub Workflow?

    我有两个工作流程 一种方式是通过推送到 master 来部署到测试环境 另一个在发布到生产环境时部署 它们90 相同 代码复制粘贴 是否有一个概念 例如提取部分重复逻辑并将其放入自己的文件 部分 片段中 GitHub Actions 中的重
  • 如何将Hive数据表迁移到MySql?

    我想知道如何将日期从 Hive 转移到 MySQL 我看过有关如何将 Hive 数据移动到 Amazon DynamoDB 的示例 但没有看到有关如何将 Hive 数据移动到 MySQL 等 RDBMS 的示例 这是我在 DynamoDB
  • 该捆绑包无效。 Apple 目前不接受使用此版本操作系统构建的应用程序。 (小牛队)

    我首先说我已经安装了 Mavericks 我很好奇看到新功能 最好还是等待 因为 显然 没有什么耸人听闻的变化 无论如何 我正在尝试将我的应用程序提交到应用程序商店 但经过与代码签名的真正艰苦斗争后 我最终得到了以下消息 此捆绑包无效 Ap
  • 当我运行捆绑安装时,Nokogiri“无法构建 gem 本机扩展”

    我在跑bundle install我收到此错误 Building nokogiri using system libraries Gem Ext BuildError ERROR Failed to build gem native ext
  • 活动工作流程与运行工作流程

    本周末在伊利诺伊州莱尔举行的 SharePoint Saturday 活动上 Robert Bogue 表示活动工作流和正在运行的工作流之间存在差异 我在网上查了一下 有人能解释一下吗 如果服务器上可以有多达数百万个活动工作流程 为什么每台
  • 有没有办法跨应用程序使用 ASP.NET Bundles

    我使用 ASP NET Web Optimization 包来捆绑和缩小 javascript css 文件 我有一些使用相同 javascript css 文件的 ASP NET 应用程序 现在我在每个应用程序中设置捆绑包 我想知道是否有
  • Hive“添加分区”并发

    我们有一个外部 Hive 表 用于处理原始日志文件数据 这些文件每小时一次 并按日期和源主机名分区 目前 我们正在使用简单的 python 脚本导入文件 这些脚本每小时触发几次 该脚本根据需要在 HDFS 上创建子文件夹 从临时本地存储复制
  • IIS 8.5 MVC5 客户端缓存被忽略

    TL DR 我希望服务器 IIS 8 5 返回 304 未针对 CSS 和 JS 包进行修改 我无法让 IIS 8 5 遵守 web config 中的 clientCache 设置 无论我做什么 我似乎都无法让它缓存静态内容 这是VS20
  • 将 CSV 转换为序列文件

    我有一个 CSV 文件 我想将其转换为 SequenceFile 我最终将使用它来创建 NamedVectors 以在聚类作业中使用 我一直在使用 seqdirectory 命令尝试创建 SequenceFile 然后使用 nv 选项将该输
  • 运行时异常:java.lang.NoSuchMethodException:tfidf$Reduce.()

    如何解决这个问题 tfidf是我的主类 为什么运行jar文件后会出现这个错误 java lang RuntimeException java lang NoSuchMethodException tfidf Reduce
  • HDFS:使用 Java / Scala API 移动多个文件

    我需要使用 Java Scala 程序移动 HDFS 中对应于给定正则表达式的多个文件 例如 我必须移动所有名称为 xml从文件夹a到文件夹b 使用 shell 命令我可以使用以下命令 bin hdfs dfs mv a xml b 我可以
  • 如何从hdfs读取文件[重复]

    这个问题在这里已经有答案了 我在 project1目录下的hadoop文件系统中有一个文本文件名mr txt 我需要编写 python 代码来读取文本文件的第一行 而不将 mr txt 文件下载到本地 但我无法从 hdfs 打开 mr tx

随机推荐

  • PHP exec() vs system() vs passthru()

    有什么区别 每个功能是否有特定的情况或原因 如果是 您能举一些这些情况的例子吗 PHP net 说它们是用来执行外部程序的 参见参考资料 http php net manual en function exec php从我看到的例子来看 我
  • 多个dex文件定义了/BuildConfig,找不到原因:

    我正在使用新的 gradle 构建系统 但面临以下问题 UNEXPECTED TOP LEVEL EXCEPTION com android dex DexException Multiple dex files define Lcom k
  • 检查一个字符串是否与另一个字符串相似[重复]

    这个问题在这里已经有答案了 我做了一些研究 发现一些主题会检查一个字符串是否是字符串中的子字符串 并选择与指定字符串最接近的字符串 但是我如何检查一个字符串是否与另一个字符串相似并提供真 假反应 IE String 1 JAVA IS A
  • djangorest框架列表查询由于日期格式而自定义json数组结果响应

    我有这个 Django REST API 我想自定义 json 响应的列表查询结果 原因是日期格式和可能的其他格式 这是 Rest API 问题是 create at 我希望它的格式如下 Y m d H M 以下代码没有任何格式 它只是列出
  • 遛树,父母先行

    访问链接树的所有节点 所有节点都有对父节点和所有子节点的引用 根节点将 null 作为父节点 的最佳方法是什么 以便在其任何祖先之前不会访问任何节点 非递归的布朗尼点 伪代码 NodesToVisit some stack or some
  • 使用 Android Studio 0.4.0 的渲染问题

    在使用 Eclipse 一段时间后 我最近决定尝试一下 Android Studio 我的主要活动 xml 在 Eclipse 上渲染正常 但 Studio 似乎有问题 它在预览窗口中报告此情况 渲染问题 java lang StackOv
  • scala泛型函数返回类型

    我尝试编写一个具有通用返回类型的函数 但除非我强制转换返回类型 否则它不起作用 请看函数getSomething 下面我预计它无需铸造即可工作 我在这里可能做错了什么 trait Sup class Sub extends Sup def
  • 如何使用 jQuery 触发自定义事件?

    我将自定义事件处理程序附加到body在 jQuery 中ready method 随后我立即trigger自定义事件 但似乎什么也没有发生 function body on test function alert test triggere
  • 如何将外部JS文件加载到moodle中?

    如何将外部JS文件加载到moodle中 使用moodle api 即moodle库 在Moodle 2 0中我一直使用 PAGE gt requires gt js 首先 使 PAGE通过执行以下操作可用于您的代码 require once
  • Chisel 中的 <> 运算符是什么?

    Chisel 教程使用了看似 lt gt 运算符 对我来说完全陌生 它有什么作用 还有 它从哪里来 该运算符在其他 Scala 库甚至其他语言中是否有约定的含义 以下是 Chisel Generator Bootcamp 练习第 3 2 节
  • 注册时创建子域

    我正在建立一个网站 企业可以在其中注册自己的帐户 该帐户应位于http businessname example com http businessname example com 企业名称 每次都在变化 我想在 Windows 服务器 I
  • 身份验证模式=“表单”导致 WCF 端点出现错误

    我的 NET 4 0 Web 应用程序项目中有一个 WCF 端点 使用VS2010 WCF测试客户端 我可以正确连接到该服务 但是 当我使用该服务时 我收到一条通用错误消息 内容类型text html 响应消息的 charset UTF 8
  • 在 XDebug 会话中 cURL 到 self

    我正在使用 XDebug 在 Eclipse 中调试 PHP 应用程序 应用程序通过 cURL 调用自身内部的 HTTP API Current protocol server port URL http SERVER SERVER NAM
  • 为 Firefox 签署基于 XUL 的附加组件

    是否可以对基于 XUL 的 Firefox 附加组件进行签名 或者只能使用新的 SDK 进行签名 所有扩展 无论是Overlay https developer mozilla org en US Add ons Overlay Exten
  • Pylint 错误检查可以定制吗?

    我正在使用 pydev 我已经设置了 pylint 问题是 即使在评论中 pylint 也会报告警告 我希望禁用任何行或块注释内的任何类型的检查 另外 我希望遵循驼峰命名约定 而不是代码中变量和参数的下划线 有没有办法指定这样的规则 而不用
  • 使用转义引号解析 JSON 时出错

    当我从浏览器调用 URL 时 我收到以下 json 对象 我希望其中没有数据 data SkipToken top 然而 当我尝试用 javascript 调用它时 它给了我error Parsing Json message dspser
  • Oracle 中的观察者模式

    我可以设置更改或添加表中某些行的钩子 并在发生此类事件时以某种方式收到通知吗 我发现了网络 但只被管道困住了 但是没有办法在发送管道消息时立即获取它 只有期刊尝试接收 通常应该避免从数据库实现观察者模式 为什么 它依赖于供应商专有 非标准
  • 提高 data.table 日期+时间粘贴的性能?

    我不确定我是否可以在这里问这个问题 请告诉我是否应该在其他地方这样做 我有一个包含 1e6 行的 data table 具有以下结构 V1 V2 V3 1 03 09 2011 08 05 40 1145 0 2 03 09 2011 08
  • 未找到命令 - bash:sqlplus:

    我正在尝试在 Oracle 数据库 docker 容器中使用 sqlplus 用于Windows 10 给出的命令 docker run d p 8080 8080 p 1521 1521 name OracleDB store oracl
  • 是否可以只用一名协调员启动一些 oozie 工作流程?

    我不确定是否可以使用这个好工具来实现我想要的目的 我有很多工作流程 这些工作流程可以是依赖的 也可以是非依赖的 示例 workflow1 工作流程 xml job properties workflow2 工作流程 xml job prop