我想将 DAG 文件添加到 Airflow,它在 Ubuntu 上的 Docker 中运行。我用了以下git 存储库 https://github.com/puckel/docker-airflow,包含配置和 docker 镜像的链接。当我跑步时docker run -d -p 8080:8080 puckel/docker-airflow webserver
,一切正常。但我找不到安全地将 DAG 添加到 Airflow 的方法。或者,我跑了docker run -d -p 8080:8080 puckel/docker-airflow webserver -v /root/dags:/usr/local/airflow/dags
,也没有成功。
我尝试编辑/config/airflow.cfg
并将 git 凭据添加到包含 dags 的存储库,但没有成功。另外,添加了一个文件夹/dags
in home/root/dags
,包含 DAG,假设该文件夹与 Docker 容器共享。但也没有成功。
Docker Composer 文件包含以下卷设置:
webserver:
image: puckel/docker-airflow:1.10.0-2
...
volumes:
- ./dags:/usr/local/airflow/dags
但是当我添加东西到./dags
在我运行 Docker 容器的文件夹中,DAG 不会出现在 Airflow 中。
当 Airflow 在 Docker 中运行时,如何安全地将 DAG 添加到 Airflow 中?
增加音量才是正确的方法
docker run -d -p 8080:8080 -v /path/to/dags/on/your/local/machine/:/usr/local/airflow/dags puckel/docker-airflow webserver
完整的解释在以下是马克·内格尔伯格的帖子 http://www.marknagelberg.com/getting-started-with-airflow-using-docker/
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)