AirflowExternalTask​​Sensor执行超时

2024-06-21

我在用着airflow.operators.sensors.ExternalTaskSensor让一个达格等待另一个。

dag = DAG(
    'dag2',
    default_args={
        'owner': 'Me',
        'depends_on_past': False,
        'start_date': start_datetime,
        'email': ['[email protected] /cdn-cgi/l/email-protection'],
        'email_on_failure': True,
        'email_on_retry': False,
        'retries': 2,
        'retry_delay': timedelta(minutes=10),
    },
    template_searchpath="%s/me/resources/" % DAGS_FOLDER,
    schedule_interval="{} {} * * *".format(minute, hour),
    max_active_runs=1
)

wait_for_dag1 = ExternalTaskSensor(
    task_id='wait_for_dag1',
    external_dag_id='dag1',
    external_task_id='dag1_task1',
    dag=dag
)

如果上游 Dag 发生严重错误并且无法在给定时间段内完成,我希望上游 Dag(ExternalTask​​Sensor 运算符)也崩溃,而不是永远挂起。

如何为ExternalTask​​Sensor 添加超时?

我正在查看文档,但似乎没有timeout参数或类似的东西。我应该怎么办?
https://airflow.readthedocs.io/en/stable/_modules/airflow/sensors/external_task_sensor.html https://airflow.readthedocs.io/en/stable/_modules/airflow/sensors/external_task_sensor.html


The ExternalTaskSensor确实需要一个timeout争论以秒为单位。它继承了参数BaseSensorOperator (https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/sensors/base/index.html https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/sensors/base/index.html)。如果你通过了timeout=60实例化时,它将在 60 秒后失败。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

AirflowExternalTask​​Sensor执行超时 的相关文章

随机推荐