Docker 中的 Airflow:如何将 DAG 添加到 Airflow?

2024-05-13

我想将 DAG 文件添加到 Airflow,它在 Ubuntu 上的 Docker 中运行。我用了以下git 存储库 https://github.com/puckel/docker-airflow,包含配置和 docker 镜像的链接。当我跑步时docker run -d -p 8080:8080 puckel/docker-airflow webserver,一切正常。但我找不到安全地将 DAG 添加到 Airflow 的方法。或者,我跑了docker run -d -p 8080:8080 puckel/docker-airflow webserver -v /root/dags:/usr/local/airflow/dags,也没有成功。

我尝试编辑/config/airflow.cfg并将 git 凭据添加到包含 dags 的存储库,但没有成功。另外,添加了一个文件夹/dags in home/root/dags,包含 DAG,假设该文件夹与 Docker 容器共享。但也没有成功。

Docker Composer 文件包含以下卷设置:

webserver:
        image: puckel/docker-airflow:1.10.0-2
        ...
        volumes:
            - ./dags:/usr/local/airflow/dags 

但是当我添加东西到./dags在我运行 Docker 容器的文件夹中,DAG 不会出现在 Airflow 中。

当 Airflow 在 Docker 中运行时,如何安全地将 DAG 添加到 Airflow 中?


增加音量才是正确的方法

docker run -d -p 8080:8080 -v /path/to/dags/on/your/local/machine/:/usr/local/airflow/dags  puckel/docker-airflow webserver

完整的解释在以下是马克·内格尔伯格的帖子 http://www.marknagelberg.com/getting-started-with-airflow-using-docker/

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Docker 中的 Airflow:如何将 DAG 添加到 Airflow? 的相关文章

随机推荐