程序员经验分享-hwhale

如何重新运行 Apache Airflow 中所有失败的任务？

2024-02-15

我有一个包含数万个任务的 Apache Airflow DAG，运行后发现其中少数任务失败了。

我修复了导致某些任务失败的错误，并且我想重新运行仅失败的任务。 这SO帖子建议使用 GUI 来“清除”失败的任务：

如何在 Airflow 上重新启动失败的任务 https://stackoverflow.com/questions/43270820/how-to-restart-a-failed-task-on-airflow

如果您有少量失败的任务，则此方法有效。

我想知道我们是否可以绕过 GUI 并通过命令行来解决问题，例如：

airflow_clear_failed_tasks dag_id execution_data

仅清除失败任务的命令已更新。现在是（截至 2021 年 3 月的 Airflow 2.0）：

airflow tasks clear [-s START_DATE] [-e END_DATE] --only-failed dag_id
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

airflow

如何重新运行 Apache Airflow 中所有失败的任务？ 的相关文章

  • 如何使用ExternalTask​​Sensor触发Airflow DAG独立运行

    我构建了两个 DAG dag a dag b 并在 dag b 中创建了一个刺探 dag a 的ExternalTask Sensor 这些 DAG 有两个用例 同时调度dag a和dag b 并使用依赖关系先处理dag a 然后处理dag

  • 气流文件传感器，用于感测本地驱动器上的文件

    有人对 FileSensor 有任何想法吗 我在研究本地目录上的传感文件时遇到了它 代码如下 task FileSensor task id senseFile filepath etc hosts fs conn id fs local

  • 气流中任务的粒度

    对于一项任务 有许多辅助任务 从文件 数据库获取 保存属性 验证 审核 这些辅助方法并不耗时 一个样本 DAG 流 fetch data gt gt actual processing gt gt validation gt gt save

  • 创建 dag run 时将参数传递给 Airflow Experimental REST api

    看起来 Airflow 有一个实验性的 REST api 允许用户使用 https POST 请求创建 dag 运行 这太棒了 有没有办法通过 HTTP 将参数传递给 create dag 运行 从官方文档来看 发现here https a

  • 如何自动重新安排气流任务

    我正在运行一个每小时的进程 从一个位置 源 获取数据并将其移动到另一个位置 目的地 在大多数情况下 数据在特定时间到达我的来源 一切正常 但可能会出现延迟 当发生这种情况时 气流中的任务会失败 需要手动重新运行 解决此问题的一种方法是为数据

  • 有什么方法可以监控 Airflow DAG 的执行时间吗？

    我想将 Airflow 与 Statsd 和 DataDog 一起使用来监控 DAG 是否需要例如是之前执行的两倍 所以 我需要某种用于 DAG 的实时计时器 或者operator 我知道 Airflow 支持一些指标 https airf

  • 气流动态 dag 创建

    有人请告诉我气流中的 DAG 是否只是一个图表 如占位符 没有任何与其关联的实际数据 如参数 或者 DAG 是否像一个实例 对于固定参数 我想要一个系统 其中要执行的操作集 给定一组参数 是固定的 但每次运行这组操作时 该输入都会不同 简单

  • 如何从 Python 脚本中触发气流 DAG 运行？

    使用 apache airflow 我创建了一些 DAGS 其中一些不按计划运行 我正在尝试找到一种方法 可以从 Python 脚本中触发特定 DAG 的运行 这可能吗 我能怎么做 编辑 python 脚本将从与我所有 DAGS 所在的项目

  • Airflow：如何扩展SubDagOperator？

    当我尝试扩展气流 API 中提供的 SubDagOperator 时 气流网络服务器 GUI 无法将其识别为 SubDagOperator 从而使我无法放大 subdag 如何扩展 SubDagOperator 同时保留将其放大为 subd

  • 处理 Airflow DAG 随着时间的变化（DAG 版本控制）

    我们有相对复杂的动态 DAG 作为 ETL 的一部分 DAG 包含数百个转换 它是基于一组 yaml 文件以编程方式创建的 它随着时间的推移而发生变化 添加新任务 任务执行的查询发生变化 甚至任务之间的关系也发生变化 我知道每次以这种方式更

  • 删除 Airflow Scheduler 日志

    我正在使用 Docker Apache Airflow 版本 1 9 0 2 https github com puckel docker airflow https github com puckel docker airflow 调度程

  • 没有这样的文件或目录 /airflow/xcom/return.json

    创建了一个图像包含 airflow xcom return json在所有子目录上使用 chmod x 由于日志显示找不到文件或目录 尝试过 chmod x strtpodbefore KubernetesPodOperator names

  • 气流：Dag 每隔几秒安排两次

    我尝试每天仅运行一次 DAG00 15 00 午夜 15 分钟 然而 它被安排了两次 间隔几秒钟 dag DAG my dag default args default args start date airflow utils dates

  • 使用不同间隔的任务运行 DAG

    我有 3 个任务 A B 和 C 我只想运行任务 A 一次 然后每月运行任务 B 直到 end date 然后仅运行任务 C 一次以进行清理 这与这个问题类似 但不适用 如何在气流中的单个 Dag 上处理不同的任务间隔 https stac

  • 为什么我的 Airflow 任务被“外部设置为失败”？

    我使用的是 Airflow 2 0 0 我的任务在运行几秒钟或几分钟后偶尔会被 外部 终止 任务通常会成功运行 都是通过以下方式启动的手动任务 airflow tasks test 以及计划的 DAG 运行 所以我相信这与我的 DAG 代码

  • 气流 - 未知的蓝色任务状态

    我刚刚收到一个蓝色任务 该任务没有出现在状态图例中 我很好奇这是一个错误还是未记录的状态 正如您所看到的 蓝色没有显示在右侧的潜在状态列表中 我刚刚完成了所有过去 未来和上游尝试的清理 仅供参考 这是一个已知的 TaskInstance 状

  • Docker 中的 Airflow：如何将 DAG 添加到 Airflow？

    我想将 DAG 文件添加到 Airflow 它在 Ubuntu 上的 Docker 中运行 我用了以下git 存储库 https github com puckel docker airflow 包含配置和 docker 镜像的链接 当我跑

  • 编程错误：（psycopg2.errors.UndefinedColumn）关系“task_fail”的列“execution_date”不存在

    我正在尝试在气流中运行 DAG 以将数据集摄取到谷歌云存储 这是 DAG 脚本 import os from airflow import DAG from airflow utils dates import days ago from

  • Airflow：网络服务器未找到新的 DAG

    在 Airflow 中 我应该如何处理错误 此 DAG 在网络服务器 DagBag 对象中不可用 它显示在此列表中 因为调度程序将其在元数据数据库中标记为活动状态 我已将新的 DAG 复制到 Airflow 服务器 并尝试过 取消暂停并刷新

  • Airflow 1.10.3 - 空白“最近任务”和“DAG 运行”

    我在 Ubuntu 18 10 上安装了 Airflow 1 10 3 并且能够添加 DAG 并运行它们 但 Web UI 中的 最近任务 和 DAG 运行 为空 我所看到的只是一个黑色虚线圆圈 它不断加载 但什么也没有实现 我最近将 Ai

随机推荐

  • JsTree 与 jquery.validate 冲突

    我有一个 Jstree 填充项目列表 当我单击一个节点时 会使用 ajax 加载部分节点 一切正常 直到我包含 jquery validate 脚本来验证我的表单

  • 无法在 Flutter 中使用 Firebase Auth 进行注册

    我正在为我的应用程序使用 Firebase 我已正确设置所有内容 并且 Firebase Firestore 工作正常 没有任何问题 我能够在那里读取和写入数据 但是当我尝试在 Firebase 中创建用户时 我在调试控制台中收到此消息 I

  • 如何在 nightwatch.js 中使用链接文本单击链接

    假设我的网页上有这些元素 a href dynamic1 One a a href dynamic2 Two a a href dynamic3 Three a 我想点击带有文字的链接Two 如何使用链接文字没有任何独特的属性 如 id 或

  • typescript Symbol.iterator

    我正在尝试创建一个自定义的可迭代对象 这是我的代码的简化示例 class SortedArray Symbol iterator yield 1 yield 2 yield 3 return 4 const testingIterables

  • 在 std::map 中搜索特定值[重复]

    这个问题在这里已经有答案了 可能的重复 检查 std map 中是否存在值 C https stackoverflow com questions 535317 checking value exist in a stdmap c 如何遍历

  • Unity中的LoadScene()函数什么时候改变场景？

    当您调用函数 LoadScene 时 它是立即切换场景 还是只是表示场景需要更改 LoadScene 的文档没有说 我正在使用的具体示例如下所示 LoadScene levelName ItemBox newBox ItemBox Inst

  • 在 Spring 中将 SOAP 1.2 与 WebServiceGatewaySupport 结合使用

    我对 Spring 框架非常陌生 在使用 Spring 创建一个简单的 SOAP 客户端时遇到了一些问题 像一个好的新手一样 我使用 Spring 教程来制作我的 SOAP 客户端 你可以在这里找到它 gt https spring io

  • Unity游戏画面模糊

    我的 Unity 游戏屏幕有问题 当我切换到游戏屏幕时 所有精灵都模糊了 场景视图非常好 但游戏场景很模糊 在 Sprite 的 Unity Inspector 中 您可以将 Generate Mip Map 设置为 false 或者您可以

  • 类叶组件中的 connect() 是 React+Redux 中反模式的标志吗？

    目前正在从事 React Redux 项目 我也在用归一化 https github com gaearon normalizr处理数据结构和reselect https github com reactjs reselect为应用程序组件

  • 如何使用 pip 从 git 子目录进行安装？

    我有一个包含许多文件夹的 git 存储库 其中一个是可使用 pip 安装的 python 模块 如下所示 repo git repo git folder1 repo git folder2 repo git mymodule repo g

  • 如何在 AWK 3.1.3 中按定义的顺序打印数组

    我用 google 搜索了一下 发现在 AWK 4 0 之后 我们可以通过在 for 循环之前放置 PROCINFO sorted in 命令来按定义的顺序打印数组 例如 PROCINFO sorted in ind num asc for

  • 关联类的正确使用

    我是 UML 的新手 我不确定我的图表是否正确 我希望得到比我更有经验的人的建议 我的问题的陈述说 学生学习课程 每个学生可以选修几门课程 每门课程 学习 任何课程都可以有多个学生学习 学生由数字代码识别 有姓名 出生日期和一个或多个国籍

  • 使用 javascript 将数据从一个域发送到另一个域（我可以访问两个网页的 ）

    我可以访问两个页面上都有标签 我需要将数据从一个页面发送到另一页面 两个页面都位于不同的域中 页面 A 域 www foo com http www foo com 页面 B 域 www bar com http www bar com 如

  • C++ stringstream >> int 返回零

    我正在编写一个函数来返回数字的反转 即它转换int 1234 to int 4321 这就是我目前所拥有的 include

  • eclipse的jade模板语法支持吗？

    我刚刚开始使用nodejs 模板引擎jade 不幸的是 我的 IDE eclipse 似乎不支持此语法 并且无法正确突出显示 是否可以向 eclipse 添加对 jade 文件的支持 作为 Nodeclipse 工作 www nodecli

  • Google应用程序脚本网络应用程序，如何创建登录按钮？

    我在 Google Drive 中创建了由 Google 电子表格支持的脚本 并将其发布为网络应用程序 设置 执行应用程序为 我 和 谁有权访问该应用程序 任何人 甚至匿名 主页提供电子表格中的 html 内容 基本功能是 随机互联网用户

  • 为什么rotateY（翻转）css3动画在Chrome中闪烁？

    我做了一个jsFiddle http jsfiddle net Grezzo JR2Lu http jsfiddle net Grezzo JR2Lu 当您按下键盘上的 i 键时 图片会翻转以显示一些文本 但在翻转动画期间 在 Chrome

  • 使用 C# 并行下载多个文件

    我想使用 C 并行下载文件 为此 我编写了这段代码 该代码运行良好 但问题是 UI 冻结了 using System using System Collections Generic using System IO using System

  • Android Loopj Async Http 在 1.4.5 更新后崩溃

    Android Loopj Async Http lib 的新更新已发布 并且发生了很大变化 现在需要手动设置Looper prepare 否则默认使用同步模式而不是异步模式 我不明白我需要设置它的地方 Logcat 07 09 08 16

  • 如何重新运行 Apache Airflow 中所有失败的任务？

    我有一个包含数万个任务的 Apache Airflow DAG 运行后发现其中少数任务失败了 我修复了导致某些任务失败的错误 并且我想重新运行仅失败的任务 这SO帖子建议使用 GUI 来 清除 失败的任务 如何在 Airflow 上重新启动

热门标签