清除后气流强制重新运行上游任务,即使下游任务标记为成功

2024-02-29

我在 Airflow 中有任务 A -> B -> C,当我运行 DAG 并全部成功完成时,我希望能够单独清除 B(同时将 C 标记为成功)。 B 清除并进入“no_status”状态,但当我尝试重新运行 B 时,什么也没有发生。我尝试过 --ignore_dependency、--ignore_depends_on_past 和 --force 但无济于事。 B 似乎只有在 C 也被清除的情况下才会重新运行,然后一切都会按预期重新运行。

我希望能够在不更改管道的情况下专门重新运行 B 的原因是,B 的一些外部输入可能会略有变化(文件更改或调整),并且我想在重新启动之前运行它并评估它的输出下游任务(以减轻任何潜在的中断)。


如果通过命令行清除,您可以指定要清除的任务。

airflow clear your_dag_id --task_regex B --start_date 2017-09-25T17:00:00 --end_date 2017-09-25T17:00:00

如果您想通过 UI 执行此操作,您可以访问Browse -> Task Instances找到您要清除的任务实例。从那里删除应该只会清除您选择的任务。您还需要前往Browse -> DAG Run并将相关DAG运行设置为运行状态,以便您清除的任务被拾取。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

清除后气流强制重新运行上游任务,即使下游任务标记为成功 的相关文章

  • Airflow 1.10.3 - 空白“最近任务”和“DAG 运行”

    我在 Ubuntu 18 10 上安装了 Airflow 1 10 3 并且能够添加 DAG 并运行它们 但 Web UI 中的 最近任务 和 DAG 运行 为空 我所看到的只是一个黑色虚线圆圈 它不断加载 但什么也没有实现 我最近将 Ai
  • 从数据框中按索引删除行

    我有一个数组wrong indexes train其中包含我想从数据框中删除的索引列表 0 63 151 469 1008 要删除这些索引 我正在尝试这样做 df train drop wrong indexes train 但是 代码失败
  • python 中的代表

    我实现了这个简短的示例来尝试演示一个简单的委托模式 我的问题是 这看起来我已经理解了委托吗 class Handler def init self parent None self parent parent def Handle self
  • 如何正确地将 MIDI 刻度转换为毫秒?

    我正在尝试将 MIDI 刻度 增量时间转换为毫秒 并且已经找到了一些有用的资源 MIDI Delta 时间刻度到秒 http www lastrayofhope co uk 2009 12 23 midi delta time ticks
  • python 模拟第三方模块

    我正在尝试测试一些处理推文的类 我使用 Sixohsix twitter 来处理 Twitter API 我有一个类充当 Twitter 类的外观 我的想法是模拟实际的 Sixohsix 类 通过随机生成新推文或从数据库检索它们来模拟推文的
  • 在 Python distutils 中从 setup.py 查找脚本目录的正确方法?

    我正在分发一个具有以下结构的包 mymodule mymodule init py mymodule code py scripts script1 py scripts script2 py The mymodule的子目录mymodul
  • Pandas 数据帧到 numpy 数组 [重复]

    这个问题在这里已经有答案了 我对 Python 很陌生 经验也很少 我已经设法通过复制 粘贴和替换我拥有的数据来使一些代码正常工作 但是我一直在寻找如何从数据框中选择数据 但无法理解这些示例并替换我自己的数据 总体目标 如果有人真的可以帮助
  • 以同步方式使用 FastAPI,如何获取 POST 请求的原始正文?

    在中使用 FastAPIsync not async模式 我希望能够接收 POST 请求的原始 未更改的正文 我能找到的所有例子都显示async代码 当我以正常同步方式尝试时 request body 显示为协程对象 当我通过发布一些内容来
  • 如何通过在 Python 3.x 上按键来启动和中断循环

    我有这段代码 当按下 P 键时会中断循环 但除非我按下非 P 键 否则循环不会工作 def main openGame while True purchase imageGrab if a sum gt 1200 fleaButton ti
  • 对图像块进行多重处理

    我有一个函数必须循环遍历图像的各个像素并计算一些几何形状 此函数需要很长时间才能运行 在 24 兆像素图像上大约需要 5 小时 但似乎应该很容易在多个内核上并行运行 然而 我一生都找不到一个有据可查 解释充分的例子来使用 Multiproc
  • TensorFlow的./configure在哪里以及如何启用GPU支持?

    在我的 Ubuntu 上安装 TensorFlow 时 我想将 GPU 与 CUDA 结合使用 但我却停在了这一步官方教程 http www tensorflow org get started os setup md 这到底是哪里 con
  • Numpy 过滤器平滑零区域

    我有一个 0 及更大整数的 2D numpy 数组 其中值代表区域标签 例如 array 9 9 9 0 0 0 0 1 1 1 9 9 9 9 0 7 1 1 1 1 9 9 9 9 0 2 2 1 1 1 9 9 9 8 0 2 2 1
  • 如何设置 Celery 来调用自定义工作器初始化?

    我对 Celery 很陌生 我一直在尝试设置一个具有 2 个独立队列的项目 一个用于计算 另一个用于执行 到目前为止 一切都很好 我的问题是执行队列中的工作人员需要实例化一个具有唯一 object id 的类 每个工作人员一个 id 我想知
  • 首先对列表中最长的项目进行排序

    我正在使用 lambda 来修改排序的行为 sorted list key lambda item item lower len item 对包含元素的列表进行排序A1 A2 A3 A B1 B2 B3 B 结果是A A1 A2 A3 B
  • 将 matplotlib 颜色图集中在特定值上

    我正在使用 matplotlib 颜色图 seismic 绘制绘图 并且希望白色以 0 为中心 当我在不进行任何更改的情况下运行脚本时 白色从 0 下降到 10 我尝试设置 vmin 50 vmax 50 但在这种情况下我完全失去了白色 关
  • 在 Pandas 中使用正则表达式的多种模式

    我是Python编程的初学者 我正在探索正则表达式 我正在尝试从 描述 列中提取一个单词 数据库名称 我无法给出多个正则表达式模式 请参阅下面的描述和代码 描述 Summary AD1 Low free DATA space in data
  • Python 将日志滚动到变量

    我有一个使用多线程并在服务器后台运行的应用程序 为了无需登录服务器即可监控应用程序 我决定包括Bottle http bottlepy org为了响应一些HTTP端点并报告状态 执行远程关闭等 我还想添加一种查阅日志文件的方法 我可以使用以
  • 使用 NumPy 将非均匀数据从文件读取到数组中

    假设我有一个如下所示的文本文件 33 346 1223 10 23 11 23 12 23 13 23 14 23 15 23 16 24 10 24 11 24 12 24 13 24 14 24 15 24 16 25 14 25 15
  • Tkinter - 浮动窗口 - 调整大小

    灵感来自this https stackoverflow com a 22424245 13629335问题 我想为我的根窗口编写自己的调整大小函数 但我刚刚注意到我的代码显示了一些性能问题 如果你快速调整它的大小 你会发现窗口没有像我希望
  • 迭代 pandas 数据框的最快方法?

    如何运行数据框并仅返回满足特定条件的行 必须在之前的行和列上测试此条件 例如 1 2 3 4 1 1 1999 4 2 4 5 1 2 1999 5 2 3 3 1 3 1999 5 2 3 8 1 4 1999 6 4 2 6 1 5 1

随机推荐

  • 为地图分配值的最有效方法

    哪种方式为地图分配值最有效 或者它们都针对相同的代码进行了优化 在大多数现代编译器上 1 Assignment using array index notation Foo Bar 12345 2 Assignment using memb
  • 使用 Rhino 在 Eclipse 中调试 Javascript

    我已经安装了适用于 Eclipse 的 JavaScript 开发工具插件 但无法运行或调试 JavaScript 项目 我想使用内置的 Rhino 解释器进行调试 而不是使用网络浏览器 我创建了一个 JavaScript 项目 当我尝试创
  • PostgreSQL:将lo_import中的内容保存到表中

    主要问题 https stackoverflow com questions 22074987 using pg read file read file in desktop postgresql 我想在 PostgreSQL 中使用 lo
  • 如何使用javascript在jsp中对从数据库生成的html表的列进行求和?

    我正在我的网站上工作 我想通过 jsp 使用 javascript 对 html 表的一列中的值进行求和 我发现了各种可以添加已放入的静态数据的代码 但是当我在代码中使用相同的东西时 它不起作用 JavaScript 如下
  • Python(足球比赛算法烦恼)

    我正在尝试编写足球小组赛的算法 例如 我在舞台上有4支球队 teams team1 team2 team3 team4 然后我得到了一对独一无二的 import itertools team pairs list itertools com
  • 将对象传递给 UITypeEditor

    我目前希望使用 PropertyGrid 来允许用户编辑我的一些类 但是我在将对象传递给他们使用的 UITypeEditor 时遇到了困难 当用户按下下拉菜单时 我想显示一个已加载纹理的列表框以供选择 如果他们想使用应用程序尚未加载的纹理
  • 从SVN迁移后断开GIT分支

    尝试查看几十个帖子 但仍然没有得到我想要的 Preface 我们最初有一个非常大的 SVN 存储库 没有主干 标准结构 等 所以 我正在工作的项目也没有结构 在子文件夹内 我在这个项目上工作了大约几个月 然后遇到了一个情况 我需要一个分支来
  • 仅将变量向下传递到子目录

    如何将项目特定变量传递到子目录 我想知道是否有一种 官方 方式可以做到这一点 CMAKE BUILD TYPE is one of None Debug Release RelWithDebInfo set specific build t
  • 如何使用键盘快捷键移动 Eclipse 选项卡?

    我想在 Eclipse 中移动我的选项卡 如下所示 From this To this 但是使用键盘快捷键 因为每次只是为了重新排序选项卡而使用鼠标执行此操作非常烦人 任何想法 There is no such a shortcut Tab
  • jQuery .on() 方法看不到新元素

    我正在获取一个 JSON 元素并从其项目构建一个列表 如下所示 getTitles function data data data var list getJSON titles data function data each data d
  • 应用程序安装失败:无法写入设备

    在 Xcode 6 3 中 当我尝试在真实设备上运行用 Swift 编写的 iOS 项目时 出现此错误 应用程序安装失败 无法写入设备 我尝试清理项目并再次运行 但出现相同的错误 我该如何修复这个错误 删除设备上的应用程序并再次运行该项目对
  • 如何为 kubernetes 部署提供静态 ELB 端点

    每次我在 kubernates 中部署新版本时 我得到不同的 EXTERNAL IP 在下面的情况下是 afea383cbf72c11e8924c0a19b12bce4 xxxxx us east 1 elb amazonaws com k
  • 无法使用新门户在 Azure AD 中添加 Microsoft 帐户

    我们的一些客户正在使用外部 Microsoft 帐户来访问 AAD 服务 由于我们未与他们的域关联 并且其中一些人使用 Gmail 帐户 因此几乎不可能将他们的整个域添加到我们的 AAD 中 旧门户 manage windowsazure
  • 如何在 Clojure 中按部分生成惰性序列?

    我有一个数据库服务器 我从中获取数据 有时数据有数百万行甚至更多 所以我使用惰性下载 我使用 clojure jdbc 库中的服务器端游标https funcool github io clojure jdbc latest cursor
  • 引起原因:java.lang.IllegalArgumentException:无法在 Spring Batch 中反序列化执行上下文

    我正在开发Spring Boot Batch XML基于的方法 在此示例中 我创建了以下类 当我只是加载或分类 Spring Batch 作业时 我收到以下错误 我网络搜索链接如下 迁移到 Spring Boot 2 并使用 Spring
  • 单元测试测试顺序

    我如何确定单元测试方法的顺序 字母或数字前缀是正确的方法吗 class TestFoo TestCase def test 1 self def test 2 self or class TestFoo TestCase def test
  • 多个应用程序使用相同的内容提供商

    我正在开发一组应用程序 这些应用程序仅在某些品牌上有所区别 想想不同的运动队 但是 我遇到了一个问题 我为所有特定品牌的应用程序使用一个库项目 并希望为所有这些应用程序使用相同的 ContentProvider 当我创建 ContentPr
  • 使用 awk 将一个文件中的列替换为另一个文件中的列?

    我有两个文件 f1 111 aaa 444 222 bbb 555 333 ccc 666 f2 111 333 000 444 222 444 111 555 333 555 555 666 如何使用 awk 将 f1 中的第二列替换为
  • Google 云语音同步识别“INVALID_ARGUMENT”

    我已经管理了 概述教程 https cloud google com speech docs getting started https cloud google com speech docs getting started然后我尝试使用
  • 清除后气流强制重新运行上游任务,即使下游任务标记为成功

    我在 Airflow 中有任务 A gt B gt C 当我运行 DAG 并全部成功完成时 我希望能够单独清除 B 同时将 C 标记为成功 B 清除并进入 no status 状态 但当我尝试重新运行 B 时 什么也没有发生 我尝试过 ig