如何配置气流 (mwaa),以便它在部署 dag 时每天同一时间(太平洋标准时间上午 6 点)触发?
我尝试过对我来说有意义的事情:
- 将schedule_interval设置为
0 6 * * *
.
- 将开始日期设置为:
now = datetime.utcnow()
now = now.replace(tzinfo=pendulum.timezone('America/Los_Angeles'))
previous_five_am = now.replace(hour = 5, minute = 0, second = 0, microsecond = 0)
start_date = previous_five_am
似乎每当我通过将 start_date 设置为前一天上午 5 点进行部署时,无论我何时部署 dag 或进行气流更新,它总是会在接下来的早上 6 点触发
您的困惑可能是因为您希望 Airflow 像 cronjob 一样安排 DAG,但事实并非如此。
第一个 DAG Run 是根据最小值创建的start_date
用于 DAG 中的任务。后续 DAG 运行由调度程序进程根据您的 DAG 创建schedule_interval
,依次。气流计划任务END间隔的(参见docs)你可以查看这个answer举些例子。
至于你的示例代码 - 永远不要设置你的start_date
是动态的。这是一种不好的做法,有时会导致 DAG 永远不会被执行,因为now()
总是移动到now() + interval
可能永远无法达到查看气流FAQ.
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)