程序员经验分享-hwhale

Airflow：使用新计划从头开始重新运行 DAG

2023-12-30

背景故事：我每天都在运行 Airflow 作业，其中包含start_date2019 年 7 月 1 日。收集的作业从第三方请求每天的数据，然后将该数据加载到我们的数据库中。

成功运行作业几天后，我意识到第三方数据源每月只刷新一次数据。因此，我每天只是下载相同的数据。

那时，我改变了start_date到一年前（以获取前几个月的信息），并将 DAG 的时间表更改为每月运行一次。

我如何（在气流 UI 中）完全重新启动 DAG，以便它识别我的新 DAGstart_date并安排，并运行完整的回填，就好像 DAG 是全新的一样？

（我知道可以通过命令行请求此回填。但是，我没有命令行界面的权限，并且无法访问管理员。）


单击 Web 界面中相关作业的 Dag Runs 列中的绿色圆圈。这将为您带来所有成功运行的列表。

勾选列表标题左上角的复选标记以选择全部 实例，然后在上面的菜单中选择“选择”，然后在下拉菜单中选择“删除”。这应该清除所有现有的 dag 运行实例。

如果您的 Airflow 实例上未启用 catchup_by_default，请确保catchup=True在 DAG 上设置，直到完成追赶。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

Kubernetes

airflow

airflowscheduler

Airflow：使用新计划从头开始重新运行 DAG 的相关文章

  • 如何使用python从文件夹中的pdf中提取文本并将其保存在数据框中？

    我有很多文件夹 每个文件夹都有几个 pdf 文件 也有其他文件类型 如 xlsx 或 doc 我的目标是提取每个文件夹的pdf文本并创建一个数据框 其中每条记录都是 文件夹名称 每列以字符串形式表示该文件夹中每个pdf文件的文本内容 我设法

  • Python ImageTk.PhotoImage 使用 alpha 通道缓慢加载 png

    我编写了一个小程序来加载和显示图像 一切正常 直到我到达 示例中的 png 文件 shade png 显示这张小图片需要七七秒 PhotoImage 是否有错误或者我错过了一些 范围 这是我的示例代码 from PIL import Ima

  • 使用 Flask 从 Jinja 模板中的 settings.py 文件获取变量

    假设我有 settings py 文件 其中包含一堆常量 将来可能会更多 如何访问 Jinja 模板中的这些变量 Flask 会自动将您的应用程序的配置包含在标准上下文 http flask pocoo org docs templatin

  • Python（openpyxl）：将数据从一个excel文件转移到另一个（模板文件）并用另一个名称保存，同时保留模板

    我有一个templateexcel 文件名为template xlsx其中有许多张 我想从单独的地方复制数据 csv文件到第一页template xlsx 命名为data 并将新文件另存为result xlsx同时保留原来的模板文件 我想粘

  • 如果新文件不存在则写入新文件，如果存在则追加到文件

    我有一个程序可以写入用户的highscore到一个文本文件 该文件由用户选择时命名playername 如果具有该特定用户名的文件已经存在 那么程序应该附加到该文件 以便您可以看到多个highscore 如果具有该用户名的文件不存在 例如

  • Plotly - 不同颜色的表面

    我正在尝试在 Plotly for Python 中绘制多个曲面 每个曲面具有不同的颜色 具体来说 表面显示了在相空间中不同点采取行动的预测奖励函数 由于我在每个点都有多个可能的操作 因此每个点都是不同的表面 我想对每个表面进行独特的着色

  • PySerial 和多个 Python 安装出现问题

    我的 Windows 7 计算机上有 Python 2 4 4 和 3 1 3 我想使用 PySerial 听说是内置的 所以我尝试了一下import serial在两个版本中 两者都造成了Import Error 然后我从以下位置下载了w

  • 使用 selenium 在 python 中切换到弹出窗口

    如何在下面的 selenium 程序中切换到弹出窗口 我已经查找了所有可能的解决方案 但无法解决它们 请帮忙 from selenium import webdriver from splinter import Browser from

  • 如何在 Google App Engine 中为模型定义唯一属性？

    我需要一些独特的属性 我怎样才能实现这个目标 有没有类似的东西unique True 我正在使用适用于 Python 的 Google App Engine Google 提供了执行此操作的函数 http code google com a

  • 类型错误：无法连接“str”和“instance”对象（python urllib）

    写一个python程序 我在使用时遇到了这个错误urllib urlopen功能 Traceback most recent call last File ChurchScraper py line 58 in

  • 如何在Python模拟中调用模拟方法

    我想创建一个模拟方法来调用被模拟的底层方法 我正在想象类似以下的内容 但我找不到任何有关模拟对象的文档 该对象包含对被模拟对象的引用 我将其表示为 wrapped method foo below from mock import patc

  • python 中使用 scipy 截断正态分布

    我正在尝试使用截断正态分布scipy在Python3 我想做一些简单的事情 绘制以 0 5 为中心 范围从 0 到 1 的截断法线的 pdf 我有以下代码行 from scipy import truncnorm import matplo

  • Python 对象初始化错误。或者我误解了对象的工作原理？ [复制]

    这个问题在这里已经有答案了 1 import sys 2 3 class dummy object 4 def init self val 5 self val val 6 7 class myobj object 8 def init s

  • 继承类中的python __init__方法[重复]

    这个问题在这里已经有答案了 我想为子类提供一些额外的属性 而不必显式调用新方法 那么有没有办法给继承的类一个 init 不重写的类型方法 init 父类的方法 我编写下面的代码纯粹是为了说明我的问题 因此属性等的命名很糟糕 class in

  • 如何使用 Python Flask-Security 使用 bcrypt 加密密码？

    我正在尝试使用 Flask Security 文档中的标准基本示例 并使其正常工作 除了密码以明文形式存储之外 我知道这一行 user datastore create user email email protected cdn cgi

  • 将glade接口放入python中

    我在 Glade 中制作了一个 gui 我想将其放入 python 程序中 我正在调整我在网上找到的教程中的说明 以将其加载到我的林间空地文件中 http www pygtk org articles pygtk glade gui Cre

  • 纯Python库读写jpeg格式

    伙计们 我正在寻找 jpeg 写入 阅读会很好 但不是必需的 库的纯 python 实现 我只在以下位置创建了 TonyJPEG 库端口 http mail python org pipermail image sig 2004 Novem

  • Mac 上的 PythonXY？

    如何在 Mac OS X Lion 上安装 Python 我开始了 它应该能够通过 macports 但无论如何我找不到 mac ports 网站上所述的端口 pythonXY 我对 MAC 和 pythonXY 都不太了解 但在 pyth

  • vtkPythonAlgorithm 控制管道执行

    我正在尝试用 python 编写一个 vtk 过滤器ProjectDepthImage进行投影不是问题 它控制 vtk 管道的执行 基本上 我对 UserEvent 有一个回调 当用户在渲染窗口处于活动状态时按下 u 键时会触发该回调 这将

  • pylint：忽略 rcfile 中的多个

    在我的 django 项目中 我使用的是外部编写的应用程序 但编写得很糟糕 现在我想从我的 pylint 报告中忽略这个应用程序 但是我无法让 pylint 忽略它 Pylint 已经忽略了南方的迁移 如下所示 MASTER ignore

随机推荐

  • 更改 TextView 颜色

    如何更改单个 TextView 的 R G B TextView 没有亮度属性 它们的前景色和背景色使用 ARGB 值设置 例如 0xff000000 表示不透明的黑色背景 0xffffffff 表示不透明的白色前景 要增加亮度 只需将 R

  • 使用超过 30m 前更新的时间戳进行拉取的查询无法正常工作

    我绞尽脑汁试图解决这个问题 一切似乎都很顺利 但它并没有按照我的预期工作 我有一个索引test index并附有以下文件 index test index type testType id AV33b VYUyX1XZAq7NTI scor

  • 使用 CSS 和 jQuery 的动态、表格式列表项行

    我有一个内容项列表 每个内容项都有设定的宽度但不同 可变 的高度 列表中的每个项目都会向左浮动 HTML 和 CSS 如下 ul li h3 Item One h3 img src one png p First item content

  • 开发人员应该提交 Go 生成的代码吗？

    我使用代码生成器插件根据 OpenAPI 规范生成服务器存根 我想知道是否应该将生成的代码提交给版本控制 一般来说 是的 推理很简单 如果我是您代码的下游用户 也就是说 我只想将您的库作为依赖项包含在内或构建您的应用程序 那么构建您的代码就

  • 使用 vb.net 将表脚本编写为 CREATE TO

    在 SQL Server 中 我可以创建一个与另一个表重复的表 并在其中设置所有约束 我可以在 SQL Server Management Studio 中使用脚本表作为 CREATE TO 来执行此操作 然后我可以在另一个数据库中运行该脚

  • Smalltalk ReferenceStream 对新实例变量有问题吗？

    在 Pharo Smalltalk 中 我使用 ReferenceStream 序列化对象列表 这是我要序列化的对象的类定义 Object subclass Task instanceVariableNames title notes li

  • 整合银行账户[已关闭]

    Closed 此问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 是否有任何 API 可以将银行帐户集成到 NET 应用程序中 我希望为用户提供将银行对账单提取到我的软件

  • 动态铸造？

    我需要一种方法将对象转换为编译时未知的类型 像这样的东西 object obj public type of obj Obj get return obj set obj type of obj value 唯一知道的是 obj 是一个值类

  • 远程 Glassfish v4.1 部署上出现 TimeoutException

    我在 OVH 上有 VPS 假设它是 vpsXXXX ovh net 使用 Debian 7 我已经安装了 Java 8 Glassfish 4 1 并启用了安全管理 asadmin gt change admin password use

  • 使用Sql Server 2016的OPENJSON函数从Json文档中的多个数组元素中选择结果

    是否可以在 Sql Server 2016 中将来自多个数组元素的 json 文档的部分组合成单个结果 给定这个 json fruit types possible Apples Bananas Pears category Basic p

  • C# 控制电脑音量

    有没有办法在 C 中控制计算机的实际音量并将其显示在垂直轨迹栏中 我几乎已经尝试了一切 但一定有一些东西我错过了 Thanks 您是否尝试过使用winmm dll通过 p Invoke 库 这就是本文所推荐的 http www dreami

  • 测试 SQLite 触发器内的 COUNT()>X

    如何比较 SQLite 中触发器内的 COUNT 结果 到目前为止 这是我想出的代码 CREATE TRIGGER mytrigger BEFORE INSERT ON mytable BEGIN SELECT CASE WHEN SELE

  • Django 查询聚合同一字段中匹配实例的总和

    我有以下 Django 2 1 模型 class Sales models Model product name models ForeignKey Product category models ForeignKey Category s

  • 如何在kubernetes环境中使用spark配置beam python sdk

    TLDR 如何使用 environment type EXTERNAL 或 PROCESS 配置 Apache Beam 管道选项 描述 目前 我们在 Kubernetes 中有一个独立的 Spark 集群 如下this https sta

  • MySQL存储过程中的变量

    我遇到了这个简单存储过程的问题 我想保存LAST INSERT ID放在一个变量中 然后将其分配给下一个插入 DELIMITER CREATE PROCEDURE Adda Name varCHAR 45 Surrname varCHAR

  • 非空参数的方法引用？

    我正在读关于Java 8 特性 http www techempower com blog 2013 03 26 everything about java 8 而且我看到他们有方法引用 但是我没有看到当方法重载时如何指定哪个方法 有人知道

  • Google 图表图例 - 重叠文本

    我在页面中使用谷歌图表 但图例文本重叠 如下图所示 这是我的代码 var dataTable new google visualization DataTable dataTable addColumn date Data dataTabl

  • Symfony2：与非命名空间 SDK（特别是 PayPal）集成

    我创建了一个PaypalBundle并添加了贝宝商家 php sdk https github com paypal merchant sdk php to my composer json现在我有一个vendor paypal merch

  • 检查java中长操作的进位

    我正在对 long 类型的数字进行加 减 有没有办法确定此操作是否会设置理论进位 这应该做 Add two long s with overflow detection r s d public static long add final

  • Airflow：使用新计划从头开始重新运行 DAG

    背景故事 我每天都在运行 Airflow 作业 其中包含start date2019 年 7 月 1 日 收集的作业从第三方请求每天的数据 然后将该数据加载到我们的数据库中 成功运行作业几天后 我意识到第三方数据源每月只刷新一次数据 因此

热门标签