Airflow“此 DAG 在网络服务器 DagBag 对象中不可用”

2024-01-01

当我将新的 DAG python 脚本放入 dags 文件夹中时,我可以在 DAG UI 中查看 DAG 的新条目,但它并未自动启用。最重要的是,它似乎也没有正确加载。我只能点击列表右侧的“刷新”按钮几次,然后切换列表左侧的开/关按钮才能安排 DAG。这些是手动过程,因为即使 DAG 脚本放在 dag 文件夹中,我也需要触发某些内容。

任何人都可以帮助我吗?我错过了什么吗?或者这是气流中的正确行为?

顺便说一句,正如文章标题中提到的,有一个指示器带有以下消息“此 DAG 在网络服务器 DagBag 对象中不可用。它显示在此列表中,因为调度程序将其标记为在元数据数据库中处于活动状态”标记在我触发所有这些手动过程之前,先使用 DAG 标题。


这不是您的行为,也不是正确或预期的行为。 这是 Airflow 当前的一个“错误”。 Web 服务器缓存 DagBag 的方式使您无法真正按预期使用它。

"Attempt removing DagBag caching for the web server“ 仍保留在官方TODO https://github.com/apache/incubator-airflow/blob/master/TODO.md作为路线图的一部分,表明此错误可能尚未完全解决,但以下是有关如何继续的一些建议:

仅在 Airflow v1.9+ 中使用构建器

在 Airflow v1.9 之前,当 dag 由导入到发生实例化的文件中的函数实例化时,就会发生这种情况。即:当一个builder https://en.wikipedia.org/wiki/Builder_pattern or factory https://en.wikipedia.org/wiki/Factory_method_pattern使用模式。 github 上有关此问题的一些报告2 https://github.com/wepay/airflow-webserver/issues/10和吉拉3 https://issues.apache.org/jira/projects/AIRFLOW/issues/AIRFLOW-1904 led to a fix https://github.com/apache/incubator-airflow/pull/2863在 Airflow v1.9 中发布。

如果您使用的是旧版本的气流,请不要使用构建器函数。

airflow backfill重新加载缓存

正如德米特里(Dmitri)建议的那样,跑步airflow backfill '<dag_id>' -s '<date>' -e '<date>'相同的开始和结束日期有时会有所帮助。此后,您可能会遇到 Priyank 指出的(非)问题,但这是预期的行为(状态:暂停或未暂停),具体取决于您安装中的配置。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Airflow“此 DAG 在网络服务器 DagBag 对象中不可用” 的相关文章

随机推荐

  • Android Studio 2.x - 永远构建符号...

    我的 Android Studio 有问题 将 AS 更新到 2 2 后 需要很长 约 30 分钟 的时间来处理 表明它正在 构建符号 该项目相当大 并且包含 NDK 组件 使用 gradle 构建速度非常快 BUILD SUCCESSFU
  • 如何重构 XSD 以便解组不会返回 JAXBElement

    我有以下架构
  • 我可以使用 JavaScript fetch() 在 DOM 中插入内联 svg 吗?

    我有一个使用 XMLHttpRequest 在 DOM 中插入内联 svg 的函数 我想知道是否可以使用 fetch 执行相同的函数 其功能是 el document querySelector foo var request new XM
  • 使用 Boost 类型特征进行条件编译

    我有一个模板 我想根据参数的类型有条件地编译它 我只关心区分 普通旧数据 POD 即整数等或类 结构 我在 Windows 上使用 c VS2008 template
  • Testflight 无法识别新设备

    我正在尝试将用户添加到 Testflight 构建中 因此 我转到开发人员门户并添加他们的信息 UDID 和设备名称 并将他们的设备添加到配置文件中 重新下载并将其应用到项目中 然后我存档到 ipa 文件 然而 当我将 ipa 上传到 Te
  • 导轨捆绑清洁

    更新捆绑包后 您将拥有一些可能已过时的 gem 因为已安装该 gem 的较新版本 下没有这样的命令bundle可执行的 即bundle clean 如何摆脱这些过时的宝石 这是减少我的 Rails 应用程序中的 slug 大小的尝试 如果您
  • Kibana v 7.9.2 小时_分钟_秒的精确格式

    我跟着 and https www elastic co guide en elasticsearch reference current mapping date format html https www elastic co guid
  • ApplicationContext 事件从未被抛出

    我正在努力拥有ContextEventListener在所有 ContextXXXEvent 上 我为每个事件类型创建了一个侦听器 如下所示 ContextRefreshedEvent是一个例子 Component public class
  • 让一个函数“返回”超级函数?

    给出的是以下代码 function two return success function one two return fail 如果您通过调用函数 one 来测试代码 您将始终得到 失败 问题是 如何通过仅调用函数二 来在函数一 中返回
  • Textview 环绕 View [关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 我试图让我的水平布局充分利用可用的空间 在显示活动的信息中 我有一个 事实框 后面跟着一大框文本 我希望信息框向右浮动 类似于下图 使
  • 无需输入类名即可获取枚举?

    我注意到在 C 中 当我有一个 Enum 时 请说 class ClassObject public static Enum EventType Click Jump Etc 当我必须访问它时 我必须浏览它的主类 它非常冗长 例如 Clas
  • 将子菜单添加到 Visual Studio 项目项节点

    右键单击文件项 Visual Studio 解决方案资源管理器时如何添加菜单和子菜单项 我有一个菜单和三个子菜单项 当我右键单击解决方案资源管理器中的文件时 将显示这些菜单项 如下图所示 我尝试使用 vsct 按钮 但它将显示在上下文菜单上
  • 无法安装 MySQL-python

    我想在 python 2 7 虚拟环境中安装 MySQL python 但出现以下错误 Installing collected packages MySQL python Running setup py install for MySQ
  • 安卓:应用程序未安装

    这里是新手 我用Godot游戏引擎制作了我的第一个游戏并成功导出到android 复制到我的手机上 它安装并运行良好 几个小时后 我做了一些更改并再次导出 再次复制了 apk 但现在当我尝试安装它时 它没有完成安装 我多次尝试更改导出设置
  • 在 Android 上检测 wifi IP 地址?

    我需要确定Android设备是否连接到Wifi 如果是 则获取其Wifi IP地址 我知道如何使用 ConnectivityManager 来确定活动网络是否是 Wifi 网络 并且我知道如何使用 java net NetworkInter
  • Python 的 socket.getaddrinfo/mercurial 未使用持久 DNS 缓存

    当我通过一台调制解调器 ISP 连接时 我的 Ubuntu 机器上的 DNS 查找速度非常慢 我按照说明进行操作 例如here http aacable wordpress com 2011 06 13 ubuntu persistent
  • Swing 对话框如何工作?

    如果您在 Swing 中打开一个对话框 例如 JFileChooser 它有点类似于以下伪代码 swing event thread create dialog add listener to dialog close event retu
  • 检测到 glibc:双重释放或损坏

    我将解释我已完成的简短编码步骤以及我面临问题的区域 main cpp int main int cnt map i 1 value My question is about this char pointer key char key ch
  • Makefile:调用变量时如何增加变量? (bash 中的 var++)

    这是我的 makefile 的一部分 LISTEINC DEST file inc DEST otherfile inc DEST anotherfile inc compteur 1 DEST file LISTEINC action D
  • Airflow“此 DAG 在网络服务器 DagBag 对象中不可用”

    当我将新的 DAG python 脚本放入 dags 文件夹中时 我可以在 DAG UI 中查看 DAG 的新条目 但它并未自动启用 最重要的是 它似乎也没有正确加载 我只能点击列表右侧的 刷新 按钮几次 然后切换列表左侧的开 关按钮才能安