Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Apache Airflow - 完成时触发/安排 DAG 重新运行(文件传感器)
早上好 我也在尝试设置 DAG 监视 感知文件是否到达网络文件夹 处理文件 将文件归档 使用在线教程和 stackoverflow 我已经能够提出以下成功实现目标的 DAG 和 Operator 但是我希望 DAG 在完成后重新安排或重新运
triggers
airflow
directedacyclicgraphs
如何从 Python 脚本中触发气流 DAG 运行?
使用 apache airflow 我创建了一些 DAGS 其中一些不按计划运行 我正在尝试找到一种方法 可以从 Python 脚本中触发特定 DAG 的运行 这可能吗 我能怎么做 编辑 python 脚本将从与我所有 DAGS 所在的项目
python
python3x
airflow
directedacyclicgraphs
气流动态 dag 创建
有人请告诉我气流中的 DAG 是否只是一个图表 如占位符 没有任何与其关联的实际数据 如参数 或者 DAG 是否像一个实例 对于固定参数 我想要一个系统 其中要执行的操作集 给定一组参数 是固定的 但每次运行这组操作时 该输入都会不同 简单
airflow
Airflow DAG 版本控制
DAG 版本控制是一回事吗 我通过谷歌搜索找不到太多关于这个主题的信息 我想查看 Airflow 中的 DAG 屏幕 并确定 DAG 代码是什么 最简单的解决方案是将版本号作为dag id 但我很高兴知道是否有人有更好的替代解决方案 标签也
airflow
Airflow连接密码解密
我想解密气流连接的密码 从连接表中获取值 有什么方法可以解密密码值 你可以做 from airflow hooks base hook import BaseHook connection BaseHook get connection c
airflow
Airflow - 跳过未来的任务实例而不更改 dag 文件
我有一个 DAG abc 计划在每天上午 7 点 美国中部标准时间 运行 并且该 DAG 中有任务 xyz 由于某种原因 我不想为明天的实例运行任务 xyz 之一 如何跳过该特定任务实例 我不想对代码进行任何更改 因为我无权访问 Prod
airflow
Airflow - 分支连接运算符
我正在尝试加入 Airflow 中的分支操作员 我这样做了 op1 gt gt op2 op3 op4 op2 gt gt op5 op3 gt gt op6 op4 gt gt op7 op5 op6 op7 gt gt op8 它给出了
python
branch
airflow
清除后气流强制重新运行上游任务,即使下游任务标记为成功
我在 Airflow 中有任务 A gt B gt C 当我运行 DAG 并全部成功完成时 我希望能够单独清除 B 同时将 C 标记为成功 B 清除并进入 no status 状态 但当我尝试重新运行 B 时 什么也没有发生 我尝试过 ig
python
airflow
Airflow DAG动态结构
我正在寻找一个可以决定 dag 结构的解决方案当 dag 被触发时因为我不确定我必须运行的操作员数量 请参阅下面我计划创建的执行顺序 Task B 1 Task C 1 Task B 2 Task C 2 Task A Task B 3 g
airflow
airflowscheduler
如何定义 Airflow 上 STFP Operator 的操作?
class SFTPOperation object PUT put GET get operation SFTPOperation GET NameError name SFTPOperation is not defined 我在这里定
python
operators
airflow
directedacyclicgraphs
operation
我可以通过在 Airflow 中向运算符添加更多 cpu 来提高处理速度吗?
In airflow cfg有一个部分称为 operators where default cpus被设置为1 and default ram and default disk都设置为512 我想了解如果增加这些参数是否会提高处理速度 我查
airflow
如何以编程方式使用 localstack s3 端点设置 Airflow 1.10 日志记录?
为了尝试将气流日志记录到 localstack s3 存储桶 对于本地和 kubernetes 开发环境 我遵循用于记录到 s3 的气流文档 https airflow apache org docs 1 10 1 howto write
amazons3
Kubernetes
dockercompose
airflow
localstack
Airflow Worker 没有监听默认的 RabbitMQ 队列
我已经使用rabbitmq代理配置了Airflow 服务 airflow worker airflow scheduler airflow webserver 正在运行 没有任何错误 调度程序正在推动任务执行default兔子MQ队列 即使
rabbitmq
airflow
如何管理气流 dag 之间的 python 包?
如果我有多个气流 dags 以及一些重叠的 python 包依赖项 我如何保留每个项目 deps 脱钩 例如 如果我在同一台服务器上有项目 A 和 B 我会用类似的东西运行它们 source path to virtualenv a act
airflow
Airflow BigQueryOperator:如何将查询结果保存在分区表中?
我有一个简单的 DAG from airflow import DAG from airflow contrib operators bigquery operator import BigQueryOperator with DAG da
googlebigquery
airflow
如何定义 Apache Airflow DAG 的超时?
我使用的是 Airflow 1 10 2 但 Airflow 似乎忽略了我为 DAG 设置的超时 我正在使用以下命令为 DAG 设置超时期限dagrun timeout参数 例如 20 秒 我有一个需要 2 分钟才能运行的任务 但 Airf
airflow
从外部触发 Perfect 工作流程
我目前有一个在 EC2 实例上本地运行的 Prefect 工作流程 我可以通过 UI 在 localhost 8080 上触发我的工作流程 有没有办法通过 REST API 或其他方式在外部触发 Prefect 工作流程 例如 AWS La
workflow
airflow
prefect
在 TriggerDagRunOperator 中提供上下文
我有一个 dag 它被另一个 dag 触发 我已经通过这个 dag 传递了一些配置变量DagRunOrder payload字典以同样的方式官方示例 https github com apache incubator airflow blo
python
airflow
如何在 Airflow 2.x 中将 XComArg 转换为字符串值?
Code from airflow models import BaseOperator from airflow utils decorators import apply defaults from airflow providers
python
airflow
Airflow BashOperator 日志不包含完整输出
我遇到一个问题 BashOperator 没有记录 wget 的所有输出 它只会记录输出的前 1 5 行 我已经尝试过仅使用 wget 作为 bash 命令 tester BashOperator task id testing bash
airflow
«
1
2
3
4
5
6
7
...14
»