Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
如何定义 Apache Airflow DAG 的超时?
我使用的是 Airflow 1 10 2 但 Airflow 似乎忽略了我为 DAG 设置的超时 我正在使用以下命令为 DAG 设置超时期限dagrun timeout参数 例如 20 秒 我有一个需要 2 分钟才能运行的任务 但 Airf
airflow
从外部触发 Perfect 工作流程
我目前有一个在 EC2 实例上本地运行的 Prefect 工作流程 我可以通过 UI 在 localhost 8080 上触发我的工作流程 有没有办法通过 REST API 或其他方式在外部触发 Prefect 工作流程 例如 AWS La
workflow
airflow
prefect
在 TriggerDagRunOperator 中提供上下文
我有一个 dag 它被另一个 dag 触发 我已经通过这个 dag 传递了一些配置变量DagRunOrder payload字典以同样的方式官方示例 https github com apache incubator airflow blo
python
airflow
如何在 Airflow 2.x 中将 XComArg 转换为字符串值?
Code from airflow models import BaseOperator from airflow utils decorators import apply defaults from airflow providers
python
airflow
Airflow BashOperator 日志不包含完整输出
我遇到一个问题 BashOperator 没有记录 wget 的所有输出 它只会记录输出的前 1 5 行 我已经尝试过仅使用 wget 作为 bash 命令 tester BashOperator task id testing bash
airflow
Docker 上的 Airflow - 路径问题
使用气流我尝试简单的 DAG 工作 我编写了自定义运算符和其他文件 我想将它们导入到 DAG 逻辑所在的主文件中 这里是文件夹的结构 airflow cfg dags init py dag py sql statements sql do
python
Docker
airflow
没有名为异常_前缀_* 的模块
我尝试运行Python 运算符示例 https github com apache incubator airflow blob master airflow example dags example python operator py在
python
pickle
airflow
使用 conda env 的 apache-airflow systemd 文件
我正在尝试奔跑apache airflow在 Ubuntu 16 04 文件上 使用 systemd 我大致跟着本教程 https github com hgrif airflow tutorial并安装 设置以下内容 Miniconda
python
python27
Ubuntu
airflow
有什么方法可以监控 Airflow DAG 的执行时间吗?
我想将 Airflow 与 Statsd 和 DataDog 一起使用来监控 DAG 是否需要例如是之前执行的两倍 所以 我需要某种用于 DAG 的实时计时器 或者operator 我知道 Airflow 支持一些指标 https airf
monitoring
airflow
directedacyclicgraphs
如何导入 2.2.5 版本的 Airflow 运算符?
我刚刚将 Airflow 升级到 2 2 5 但无法使用 EmptyOperator 应该很简单from airflow operators empty import EmptyOperator但我得到了错误ModuleNotFoundEr
airflow
googlecloudcomposer
如何重新运行 Apache Airflow 中所有失败的任务?
我有一个包含数万个任务的 Apache Airflow DAG 运行后发现其中少数任务失败了 我修复了导致某些任务失败的错误 并且我想重新运行仅失败的任务 这SO帖子建议使用 GUI 来 清除 失败的任务 如何在 Airflow 上重新启动
airflow
如何自动重新安排气流任务
我正在运行一个每小时的进程 从一个位置 源 获取数据并将其移动到另一个位置 目的地 在大多数情况下 数据在特定时间到达我的来源 一切正常 但可能会出现延迟 当发生这种情况时 气流中的任务会失败 需要手动重新运行 解决此问题的一种方法是为数据
airflow
airflowscheduler
创建 dag run 时将参数传递给 Airflow Experimental REST api
看起来 Airflow 有一个实验性的 REST api 允许用户使用 https POST 请求创建 dag 运行 这太棒了 有没有办法通过 HTTP 将参数传递给 create dag 运行 从官方文档来看 发现here https a
airflow
有没有在 GCP Composer Airflow 上安装私有依赖项的成功案例?
背景信息 通常在容器环境中 我可以使用以下命令轻松安装我的私有依赖项 requirements txt像这样 index url https user pass some repo jfrog io some repo api pypi p
pip
airflow
googlecloudcomposer
气流日志文件不存在:
Airflow 在几周内工作正常 但突然开始出现几天错误 Dags 会因此错误而随机失败 日志文件不存在 airflow path 1 log获取自 http 8793 airflow path 1 log 无法从工作人员获取日志文件 对
airflow
气流中任务的粒度
对于一项任务 有许多辅助任务 从文件 数据库获取 保存属性 验证 审核 这些辅助方法并不耗时 一个样本 DAG 流 fetch data gt gt actual processing gt gt validation gt gt save
airflow
气流文件传感器,用于感测本地驱动器上的文件
有人对 FileSensor 有任何想法吗 我在研究本地目录上的传感文件时遇到了它 代码如下 task FileSensor task id senseFile filepath etc hosts fs conn id fs local
airflow
如何使用ExternalTaskSensor触发Airflow DAG独立运行
我构建了两个 DAG dag a dag b 并在 dag b 中创建了一个刺探 dag a 的ExternalTask Sensor 这些 DAG 有两个用例 同时调度dag a和dag b 并使用依赖关系先处理dag a 然后处理dag
airflow
如何从气流传感器中提取 xcom 值?
主要问题 我正在尝试创建一个 BigQuery 表 如果不存在 方法 使用 BigQueryTableSensor 检查表是否存在 并根据返回值 使用 BigQueryCreateEmptyTableOperator 创建或不创建新表 Pr
python
airflow
Airflow k8s 运营商 xcom - 握手状态 403 禁止
当我使用运行 docker 镜像时KubernetesPodOperator在气流版本 1 10 中 一旦 pod 成功完成任务 airflow 就会尝试通过 k8s 流客户端连接到 pod 来获取 xcom 值 以下是我遇到的错误 201
Kubernetes
kubernetespythonclient
airflow
«
1
2
3
4
5
6
7
8
...14
»