Airflow 在几周内工作正常,但突然开始出现几天错误。
Dags 会因此错误而随机失败。
日志文件不存在:airflow_path/1.log
获取自:http://:8793/airflow_path/1.log
*** 无法从工作人员获取日志文件。对“:///”的请求缺少“http://”
我也发生过这样的情况LocalExecutor
以及 Docker Compose 上的 Airflow 设置。最终,我发现每当我重新创建 Docker 容器时,网络服务器都将无法获取旧日志。深入挖掘后,我意识到网络服务器无法获取日志,因为它无法访问调度程序的文件系统(日志所在的位置)。
解决方法是确保scheduler
和webserver
服务于docker-compose.yml
与日志共享一个卷,即:
# docker-compose.yml
version: "3.9"
services:
scheduler:
image: ...
volumes:
- airflow_logs:/airflow/logs
...
webserver:
image: ...
volumes:
- airflow_logs:/airflow/logs
...
volumes:
airflow_logs:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)