Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
使用不同间隔的任务运行 DAG
我有 3 个任务 A B 和 C 我只想运行任务 A 一次 然后每月运行任务 B 直到 end date 然后仅运行任务 C 一次以进行清理 这与这个问题类似 但不适用 如何在气流中的单个 Dag 上处理不同的任务间隔 https stac
airflow
directedacyclicgraphs
airflowscheduler
使用 Airflow BigqueryOperator 向 BigQuery 表添加标签
我必须向 bigquery 表添加标签 我知道可以通过 BigQuery UI 来完成此操作 但如何通过气流运算符来完成此操作 Use case 用于计费和搜索目的 由于多个团队在同一项目和数据集下工作 我们需要将各个团队创建的所有表组合在
googlecloudplatform
googlebigquery
airflow
googlecloudcomposer
BashOperator 为其他 PythonOperators 中使用的库引发 ImportError
我的 dag 构建器模块中有一组任务 该模块使用 Airflow 中全球使用的 Python 运算符 我正在 kubernetes 上使用 docker 部署气流 任务失败并显示错误消息 no module named pandas 使用
python
airflow
airflow webserver 命令失败并显示 {filesystemcache.py:224} 错误 - 不允许操作
我正在 Cent OS 7 上安装 Airflow 我已经配置了 Airflow db init 并检查了 nginx 服务器的状态及其工作正常 但是当我运行airflow webserver命令时 我收到下面提到的错误 2021 03 2
python
Nginx
webserver
airflow
如何获取使用 Dataproc 工作流模板提交的 jobId
我已在 Airflow 操作员的帮助下使用 Dataproc 工作流模板提交了 Hive 作业 DataprocWorkflowTemplateInstantiateInlineOperator https airflow readthed
BigQuery with Airflow - 缺少projectId
尝试下面的例子 https cloud google com blog big data 2017 07 how to aggregate data for bigquery using apache airflow https cloud
googlebigquery
airflow
气流,在 dag 运行之前标记任务成功或跳过它
我们有一个巨大的 DAG 其中有许多小而快速的任务和一些大而耗时的任务 我们只想运行 DAG 的一部分 我们发现最简单的方法是不添加我们不想运行的任务 问题是我们的 DAG 有很多相互依赖关系 因此当我们想要跳过某些任务时 不破坏 DAG
python
airflow
googlecloudcomposer
气流:找不到 dag_id
我在不同的 AWS 机器上运行气流服务器和工作线程 我已经在它们之间同步了 dags 文件夹 然后运行airflow initdb在两者上 并在运行时检查 dag id 是否相同airflow list tasks
airflow
气流:Dag 每隔几秒安排两次
我尝试每天仅运行一次 DAG00 15 00 午夜 15 分钟 然而 它被安排了两次 间隔几秒钟 dag DAG my dag default args default args start date airflow utils dates
concurrency
Cron
airflow
如何使用 Cloud Composer 将大数据从 Postgres 导出到 S3?
我一直在使用 Postgres to S3 运算符将数据从 Postgres 加载到 S3 但最近 我必须导出一个非常大的表 并且我的 Airflow Composer 失败 没有任何日志 这可能是因为我们正在使用 Python 临时文件模
python
postgresql
airflow
googlecloudcomposer
dag.py 引发:“airflow.exceptions.AirflowException:任务缺少 start_date 参数”,但它在代码中给出
我今天尝试创建我的第一个气流 DAG from datetime import timedelta from airflow import DAG from airflow operators bash operator import Ba
python3x
airflowscheduler
airflow
AIRFLOW:在 jinja 模板中为 {{ds}} 使用 .replace() 或relativedelta()
我的目标是根据气流宏变量 ds 返回上个月的第一天并使用它 例如在 Hive 操作符中 例如 对于 ds 2020 05 09 我预计返回 2020 04 01 我找到并尝试的解决方案是 SET hivevar LAST MONTH ds
python
macros
airflow
任务之间的气流延迟
As you can see in the image airflow is making too much time between tasks execution it almost represents 30 of the DAG e
python
airflow
directedacyclicgraphs
airflowscheduler
如何记录 Airflow DAG 的输出以进行调试?
我正在编写 Airflow DAG 但在函数方面遇到一些问题 我正在尝试通过将数据打印到标准输出并使用logging图书馆 我的示例 DAG 是 from datetime import timedelta import airflow i
airflow
datadog
我怎样才能得到dag中的execution_date?运算符的外部?
我怎样才能获得execution date参数在 dag 之外 execution min execution date strftime M if execution min 00 logging info YES It s 00 fin
templates
parameters
Jinja2
operatorkeyword
airflow
为每个文件运行气流 DAG
所以我在airflow中有一个非常好的DAG 它基本上在二进制文件上运行几个分析步骤 作为airflow插件实现 DAG 由 ftp 传感器触发 该传感器仅检查 ftp 服务器上是否有新文件 然后启动整个工作流程 所以目前的工作流程是这样的
python
airflow
气流中的execution_date:需要作为变量访问
我真的是这个论坛的新手 但有一段时间 我一直在为我们公司玩气流 抱歉 如果这个问题听起来很愚蠢 我正在使用一堆 BashOperators 编写一个管道 基本上 对于每个任务 我想简单地使用 curl 调用 REST api 这就是我的管道
airflow
如何在 Google Composer 上重新启动气流服务器?
当我需要在本地重新启动网络服务器时 我会这样做 ps ef grep airflow awk print 2 xargs kill 9 airflow webserver p 8080 D 我如何在 Google Composer 上执行此
如何检查何时为特定 dag 安排了下一次 Airflow DAG 运行?
我已设置气流并运行一些 DAG 安排每天一次 0 0 我想检查下次计划运行特定 dag 的时间 但我看不到可以在管理员中执行此操作的位置 如果你愿意 你可以使用Airflow s CLI 有next execution option htt
python
scheduledtasks
airflow
添加到本地主机数据库的气流连接(在 docker 上运行的 postgres)
我有一个本地运行的 dockerized postgres 我可以通过 pgAdmin4 和 via 连接到它psql 使用相同的连接详细信息 我在 UI 上设置了气流连接 但是 当尝试加载使用该连接的 DAG 时 它会抛出错误 损坏的 D
postgresql
Docker
airflow
1
2
3
4
5
6
...13
»