第 142 集：使用 Apache Airflow 协调大型和小型项目

真正的 Python 播客

2023 年 1 月 27 日54m

您是否参与过需要编排工具的项目？如何使用 Python 定义整个数据管道或消息传递系统的工作流程？在本周的节目中，Calvin Hendryx-Parker 回来谈论如何使用 Apache Airflow 和编排 Python 项目。

Calvin 是 Six Feet Up 的联合创始人兼首席技术官，也是 Python Web 会议的联合组织者。他最近正在进行一个大型项目，需要数千个涉及数据传输和转换的工作。通过对编排系统的研究，他发现了 Apache Airflow。

Airflow 是一个用于定义、安排和监控工作流程的开源工具。该平台是纯Python 的，并与多种服务集成。我们讨论如何通过创建有向无环图 (DAG) 来定义工作流。

Calvin 讲述了最近的一个项目如何超出系统的规模，以及他的团队如何使用 Python 构建一个聪明的解决方案。我们还讨论了即将举行的 Python Web 会议以及虚拟与会者的期望。

主题：

• 00:00:00- 介绍
• 00:02:24– 描述大数据管道
• 00:04:38– 数据的格式是什么？
• 00:06:04– 数据的存储格式是否发生了变化？
• 00:09:34– 数据工程和描述源和目标
• 00:11:29– Apache Airflow 编排和命中限制
• 00:18:12– 赞助商：CData 软件
• 00:18:54– DAG：有向无环图
• 00:22:29– 流数据和其他工具选择
• 00:25:38– 克服 DAG Factory 限制
• 00:31:49– Airflow 的另一个行业示例
• 00:34:24– 作为咨询寻找解决方案
• 00:35:12– Airflow 是否有最小规模的项目？
• 00:37:37– 姜戈在幕后
• 00:38:31– 视频课程聚焦
• 00:39:58– 2023 年 Python 网络会议
• 00:44:24– 您即将举行会议演讲吗？
• 00:45:53– 人们如何在线关注您的作品？
• 00:46:52– Mariatta Wijaya 的 IndyPy 演讲
• 00:48:01– Python 世界中你对什么感到兴奋？
• 00:51:45– 接下来你想学什么？
• 00:53:22- 谢谢，再见

显示链接：

• Apache Airflow - 文档
• 对于 DAG 工厂来说太大了吗？ — 六英尺高
• 有向无环图 - 维基百科
• DAG — 气流文档
• 在 Airflow 中动态生成 DAG - 天文学家文档
• Data Lakehouse 架构和人工智能公司 - Databricks
• 第 10 集：流行病中的 Python 求职 – 真正的 Python 播客
• 第 124 集：与 Al Sweigart 一起探索 Python 中的递归 – 真正的 Python 播客
• 递归之递归书
• 第 61 集：像 Netflix 一样扩展数据科学和机器学习基础设施 – 真正的 Python 播客
• IndyPy — 印第安纳州 Python 用户组
• 为 Python 做贡献 - Mariatta Wijaya - Python 核心开发人员 - YouTube
• 家庭助理
• 阿尔托利亚 - MicroFreak
• Arturia - 颜料
• CalvinHP (@calvinhp@fosstodon.org) - Fosstodon
• 卡尔文HP - Twitter
• 六英尺高 - 博客
• Python 网络会议 2023

鸣叫 分享 分享 电子邮件 类=“h4”>

« 浏览所有剧集