Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
在 Airflow 中编写和导入自定义插件
这实际上是两个问题合二为一 My AIRFLOW HOME结构如下 airflow dags plugins init py hooks init py my hook py another hook py operators init p
airflow
还有一个“此 DAG 在网络服务器 DagBag 对象中不可用”
这似乎是一个相当普遍的问题 我有一个 DAG 我不仅可以手动触发它airflow trigger dag 但它甚至按照其时间表执行 但拒绝显示在 UI 中 我已经多次重新启动网络服务器和调度程序 按 刷新 十亿次 然后运行它airflow
airflow
更改 AirFlow 中 Lambda 调用的“读取超时”
我有一个 lambda 始终需要超过 1 分钟才能完成执行 这是默认的问题LambdaInvokeFunctionOperator 因为默认情况下 它的钩子会创建一个Boto3与默认连接读取超时60 秒 意味着 60 秒后 如果 Lambd
python3x
awslambda
airflow
mwaa
使用airflow的DataflowPythonOperator安排数据流作业时出错
我正在尝试使用airflow 的DataflowPythonOperator 来安排数据流作业 这是我的 dag 运算符 test DataFlowPythonOperator task id my task py file path my
airflow
dataflow
从 Airflow Postgres 挂钩检索完整连接 URI
有没有更简洁的方法从 Postgres 挂钩获取完整的 URI get uri 不包含 额外 参数 所以我像这样附加它们 def pg conn id to uri postgres conn id hook PostgresHook po
python
postgresql
airflow
AWS Lambda 和 Apache Airflow 集成
想知道是否有人可以阐明这个问题 我正在尝试找到 Airflow REST API URL 以启动 DAG 以从 AWS Lambda 函数运行 到目前为止 除了查看 Apache 孵化器站点提供的所有相关文档之外 解决该问题的唯一指导是在
Lambda
airflow
Airflow - 处理 DAG 回调的正确方法
我有一个DAG然后每当它成功或失败时 我希望它触发一个发布到 Slack 的方法 My DAG args就像下面这样 default args on failure callback slack slack message sad mess
python
airflow
airflowscheduler
Airflow:只有一项任务的简单 DAG 永远不会完成
我制作了一个非常简单的 DAG 如下所示 from datetime import datetime from airflow import DAG from airflow operators bash operator import B
airflow
airflowscheduler
在 MWAA 中设置 PYTHONPATH
我正在尝试在 MWAA 上的 dag 内使用本地模块 文件夹结构如下 init py dags init py my dag init py dag py utils init py file py secrets py date py 我
python
amazonwebservices
airflow
mwaa
如何在 Airflow 中安装软件包?
我在 Airflow 在 GCP 上 部署了一个 dag 但收到错误 没有名为 scipy 的模块 如何在 Airflow 中安装软件包 我尝试添加一个单独的 DAG 来运行 def pip install package subproce
pip
airflow
如何在 Airflow 中使用 HashiCorp Vault?
我开始使用 Apache Airflow 我想知道如何有效地使其使用存储在 Vault 中的秘密和密码 不幸的是 搜索不会返回超出范围的有意义的答案Airflow 中尚未实现的钩子 https issues apache org jira
python
python3x
airflow
hashicorpvault
我可以通过编程方式确定 Airflow DAG 是计划的还是手动触发的?
我想创建一个片段 根据 DAG 是计划的还是手动触发的来传递正确的日期 DAG 每月运行一次 DAG 根据上个月的数据生成报告 SQL 查询 如果我运行预定的 DAG 我可以使用以下 jinja 片段获取上个月的数据 execution d
airflow
如何传递动态参数 Airflow 运算符?
我正在使用 Airflow 在 Google Cloud Composer 上运行 Spark 作业 我需要 创建集群 用户提供的YAML参数 Spark 作业列表 作业参数也由每个作业 YAML 提供 借助 Airflow API 我可以
googlecloudplatform
googlecloudcomposer
airflow
气流池使用的插槽大于插槽限制
有三个传感器任务并使用相同的池 池 limit sensor 设置为1 但池限制不起作用 三个池一起运行 sensor wait SqlSensor task id sensor wait dag dag conn id dest data
airflow
Airflow + Cluster + Celery + SQS - Airflow Worker:“Hub”对象没有属性“_current_http_client”
我正在尝试对我的 Airflow 设置进行集群 并且正在使用本文 https i stack imgur com JRNOj png这样做 我刚刚配置了我的airflow cfg文件以使用CeleryExecutor 我指着我的sql al
python
Celery
amazonsqs
airflow
airflowscheduler
使用 Airflow 将 mysql 数据加载到 bigquery 的 dag 出现“无效参数传递”错误
我运行一个 DAG 提取 MySQL 数据并将其加载到气流中的 BigQuery 我目前收到以下错误 usr local lib python2 7 dist packages airflow models py 1927 PendingD
python
mysql
googlebigquery
airflow
操作员之间的气流和数据传输
我是 Airflow 新手 对 Airflow 及其处理器有疑问 当处理器产生输出时 如何将该输出作为输入移动到下一个处理器 有一个名为 nifi 的软件 它将中间输出存储到流文件中 据我所知 airflow 中没有这样的软件 那么这是怎么
airflow
如何在 Apache Airflow 中正确处理夏令时?
在气流中 一切都应该是 UTC 不受 DST 影响 但是 我们的工作流程可以根据受 DST 影响的时区交付内容 一个示例场景 我们安排了一项作业 开始日期为东部时间上午 8 00 计划间隔为 24 小时 每天东部时间上午 8 点 调度程序会
dst
airflow
我无法通过 BashOperator xcom_push 参数
我是 Airflow 的 xcom 功能的新手 我用 PythonOperator 尝试了它 它工作得很好 即 我可以从上下文中推送和提取值 但是当我在 BashOperator 上尝试它时 它不起作用 但是 我可以通过在任务创建期间添加
airflow
语法无效:使用初始排序键创建表排序键 auto
我正在尝试使用target redshift将数据推送到aws redshift https pypi org project target redshift https pypi org project target redshift 我
python3x
amazonredshift
airflow
ETL
«
1
2
3
4
5
6
...14
»