Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
无法删除 Cloud Composer 环境
我正在尝试删除我只是为了尝试而创建的 Cloud Composer 环境 我收到以下错误 此环境上的 DELETE 操作在 9 小时前失败 原因是 以下错误消息 为防止删除而放置的留置权 由 serviceconsumermanagemen
googlecloudplatform
googlecloudcomposer
使用 Airflow BigqueryOperator 向 BigQuery 表添加标签
我必须向 bigquery 表添加标签 我知道可以通过 BigQuery UI 来完成此操作 但如何通过气流运算符来完成此操作 Use case 用于计费和搜索目的 由于多个团队在同一项目和数据集下工作 我们需要将各个团队创建的所有表组合在
googlecloudplatform
googlebigquery
airflow
googlecloudcomposer
如何获取使用 Dataproc 工作流模板提交的 jobId
我已在 Airflow 操作员的帮助下使用 Dataproc 工作流模板提交了 Hive 作业 DataprocWorkflowTemplateInstantiateInlineOperator https airflow readthed
气流,在 dag 运行之前标记任务成功或跳过它
我们有一个巨大的 DAG 其中有许多小而快速的任务和一些大而耗时的任务 我们只想运行 DAG 的一部分 我们发现最简单的方法是不添加我们不想运行的任务 问题是我们的 DAG 有很多相互依赖关系 因此当我们想要跳过某些任务时 不破坏 DAG
python
airflow
googlecloudcomposer
如何使用 Cloud Composer 将大数据从 Postgres 导出到 S3?
我一直在使用 Postgres to S3 运算符将数据从 Postgres 加载到 S3 但最近 我必须导出一个非常大的表 并且我的 Airflow Composer 失败 没有任何日志 这可能是因为我们正在使用 Python 临时文件模
python
postgresql
airflow
googlecloudcomposer
如何在 Google Composer 上重新启动气流服务器?
当我需要在本地重新启动网络服务器时 我会这样做 ps ef grep airflow awk print 2 xargs kill 9 airflow webserver p 8080 D 我如何在 Google Composer 上执行此
如何传递动态参数 Airflow 运算符?
我正在使用 Airflow 在 Google Cloud Composer 上运行 Spark 作业 我需要 创建集群 用户提供的YAML参数 Spark 作业列表 作业参数也由每个作业 YAML 提供 借助 Airflow API 我可以
googlecloudplatform
googlecloudcomposer
airflow
处理 Airflow DAG 随着时间的变化(DAG 版本控制)
我们有相对复杂的动态 DAG 作为 ETL 的一部分 DAG 包含数百个转换 它是基于一组 yaml 文件以编程方式创建的 它随着时间的推移而发生变化 添加新任务 任务执行的查询发生变化 甚至任务之间的关系也发生变化 我知道每次以这种方式更
airflow
googlecloudcomposer
如何导入 2.2.5 版本的 Airflow 运算符?
我刚刚将 Airflow 升级到 2 2 5 但无法使用 EmptyOperator 应该很简单from airflow operators empty import EmptyOperator但我得到了错误ModuleNotFoundEr
airflow
googlecloudcomposer
有没有在 GCP Composer Airflow 上安装私有依赖项的成功案例?
背景信息 通常在容器环境中 我可以使用以下命令轻松安装我的私有依赖项 requirements txt像这样 index url https user pass some repo jfrog io some repo api pypi p
pip
airflow
googlecloudcomposer
从 Composer 在 dataproc 集群上执行 bash 脚本
我想在使用简单的 shell 脚本创建集群后将 jar 添加到特定位置的 dataproc 集群中 创建 dataproc 集群后 我想自动执行此步骤以从 Composer 运行 下一步是执行 bash 脚本 该脚本会将 jar 添加到 d
googleclouddataproc
googlecloudcomposer
Google Composer - 如何在环境中安装 Microsoft SQL Server ODBC 驱动程序
我是 GCP 和 Airflow 的新手 正在尝试通过 python 3 通过简单的 PYODBC 连接来运行我的 python 管道 但是 我相信我已经找到了需要在计算机上安装的内容 Microsoft doc https learn m
sqlserver
googlecloudplatform
airflow
googlecloudcomposer
AttributeError:“AuthorizedSession”对象没有属性“configure_mtls_channel”
我正在使用 Cloud Composer 编排两个数据流作业 并且一个月以来运行良好 突然 这两个作业停止工作 并出现以下错误消息 在 download blob 文件中 usr local lib python3 6 site packa
googlecloudstorage
googleclouddataflow
googlecloudcomposer
如何使用 Google Cloud Composer 设置 dbt?
我正在尝试在 Google Cloud Composer 上安装 dbt 但遇到了依赖性问题 我已按照本文的说明进行操作 https blog doit intl com setup dbt with cloud composer ab70
googlecloudplatform
googlecloudcomposer
DBT
当 PythonOperator 出现错误“Negsignal.SIGKILL”时,Airflow DAG 失败
我在 Cloud Composer v1 16 16 上运行 Airflowv1 10 15 我的 DAG 看起来像这样 from datetime import datetime timedelta imports from airflo
python3x
googlecloudplatform
airflow
googlecloudcomposer
SIGKILL
如何运行将数据加载到其他项目 BigQuery Table 的云编辑器任务
我在项目 A 下创建了云编辑器环境 我想将数据加载到其他项目 B BigQuery 表中 我知道任务 GCSToBigQueryOperator 但它没有成功 它失败了 我想知道如何实现这一点 我想从项目 A 运行一个将数据加载到项目 B
Cloud
airflow
googlecloudcomposer
如何控制 Airflow 安装的并行性或并发性?
在我的一些 Apache Airflow 安装中 即使调度程序未完全加载 计划运行的 DAG 或任务也不会运行 如何增加可以同时运行的 DAG 或任务的数量 同样 如果我的安装处于高负载状态 并且我想限制 Airflow 工作人员拉取排队任
python
googlecloudplatform
airflow
googlecloudcomposer
Airflow 中的 KubernetesPodOperator 特权 security_context
我在 Google 的 Cloud Composer 上运行 Airflow 我正在使用KubernetesPodOperator https airflow apache org api airflow contrib operators
Kubernetes
googlekubernetesengine
airflow
googlecloudcomposer
使用 Cloud Functions 作为 GC Composer DAG 中的运算符
码友们 对于我有兴趣使用的项目谷歌云作曲家处理由可在工作流之间共享的操作组成的多个工作流 在我看来 云函数是执行任务的完美方式 因为这些操作在 Composer 中DAG 据我了解 我需要一个运算符来调用云函数 其中包含特定于特定 DAG
googlecloudplatform
googlecloudfunctions
googlecloudcomposer
如何使用 Cloud Composer 下载和访问文件?
我有一些与文件相关的用例 我不确定如何使用 Cloud Composer 最好地完成这些用例 我应该如何最好地完成这些 1 我需要使用私钥 pem 文件来访问SFTP服务器 该文件应该存储在哪里以及如何访问它 在本地 Airflow 中 我
googlecloudplatform
googlecloudcomposer
1
2
»