程序员经验分享-hwhale

我可以通过在 Airflow 中向运算符添加更多 cpu 来提高处理速度吗？

2024-02-26

In airflow.cfg有一个部分称为[operators], where default_cpus被设置为1 and default_ram and default_disk都设置为512.

我想了解如果增加这些参数是否会提高处理速度。


我查看了来源，这些设置可供所有操作员使用，但它们从未被操作员或任何执行者使用过。

所以我稍微回顾一下历史并看看引入这些设置的提交 https://github.com/apache/incubator-airflow/pull/1669/commits/2c37d26e69248ac7898d013ab341eecf43888c0a他们是，引用 JIRA 票证 https://issues.apache.org/jira/browse/AIRFLOW-341导致该公关：

与yarn和mesos等资源管理器一起使用的可选资源要求

然而，Mesos 执行器是一个社区贡献，它不利用此属性，而只是为每个任务分配相同数量的资源 https://github.com/apache/incubator-airflow/blob/1.9.0/airflow/contrib/executors/mesos_executor.py#L110-L161，据我所知，YARN 执行器还不存在（从版本 1.9 开始）。

我曾经与 Airflow 团队讨论过是否有一种方法可以使用 Mesos 执行器按任务分配资源，他们回复了我他们使用 Celery 执行器为任务分配资源的策略 https://lists.apache.org/thread.html/1cb1e2d336212f2ac3ad5eb698ca5aedde136df0f398acde8cabc3ca@%3Cdev.airflow.apache.org%3E，以防它可能对您了解如何管理资源有所帮助。

关于您在更一般意义上提出的核心问题，您可以从任务中获得的吞吐量与其所分配的资源相关，很大程度上取决于任务本身：当然，这是一个计算密集型任务如果您为可以利用多个处理器的任务分配多个核心，那么它会出现速度波动，而 I/O 密集型任务（例如在不同系统之间复制数据）可能不会看到太大的改进。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

airflow

我可以通过在 Airflow 中向运算符添加更多 cpu 来提高处理速度吗？ 的相关文章

随机推荐

  • 从函数返回范围

    我试图让 VBA 中的子函数调用另一个函数 该函数返回一个范围并设置为一个变量 当我尝试运行 GetInputs 方法时出现语法错误 Function GetDataRange str As String As Range This pro

  • 使用 shell 脚本启动远程 (SSH) Java 应用程序将不会返回本地提示符

    我见过类似的问题 所有解决的问题都已解决 不适用 我在远程计算机中有一个启动 Java 应用程序的 bash 脚本 相关行是 usr bin env bash java cp full path to my jar com whatever

  • Flood Fill算法导致StackOverFlowError

    我正在使用 Java 编写一个简单的绘图应用程序 我正在尝试使用洪水填充算法的递归实现作为我的 桶填充 工具 然而 这always给我一个StackOverFlowError 无论我使用 桶填充工具 的区域有多小 编辑 更改了代码以使其更加

  • 以编程方式将文件检入 TFS 的结果超出预期

    因此 我有一个 NET 应用程序 它会生成一系列文件 将它们输出到本地目录 然后确定是否需要更新现有文件或将新文件添加到 TFS Team Foundation Server 项目中 我的本地计算机上有一个工作区 并且有 10 个不同的工作

  • 注释随情节表达而变化？

    假设我想制作一个像这样的子图 其中每个方面都有自己的 y 尺度 import plotly express as px fig px scatter px data iris x sepal length y sepal width fac

  • UnicodeEncodeError：“ascii”编解码器无法对位置 20 中的字符 u'\xa0' 进行编码：序号不在范围内（128）

    我在处理从不同网页 在不同站点上 获取的文本中的 unicode 字符时遇到问题 我正在使用美丽汤 问题是错误并不总是可重现的 它有时可以处理某些页面 有时 它会通过抛出一个UnicodeEncodeError 我已经尝试了几乎所有我能想到

  • 设备或资源在容器中从头开始忙于 alpine，但在 ubuntu 上却不忙

    我编辑了问题 但我的问题表现在高山容器中 我现在从头开始在容器中遇到同样的问题 这是同一个问题 但范围更窄一些 正如标题所描述的 我在 Ubuntu 容器中有一个工作可执行文件 我用它来构建我的应用程序 但是一旦我将其复制到 Alpine

  • 如何使用 Rails、Cucumber 和 Capybara 测试 Dropzone.js 上传？

    我有一个使用 Cucumber 和 Capybara 进行测试的 Rails 项目 我有一个使用 Dropzone js 的文件上传页面 我的上传使用对话框或拖放效果很好 测试是另一回事 我的表单中有以下字段

  • 有没有用R写的遗传编程代码[关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我对进化算法很感兴趣 我已经用 R 测试了遗传算法 但有人尝试过遗传编程吗 你知道吗 某个地方是否有用

  • 为什么 C# 不提供类似于 C++ 的常量性？

    C 中的引用与 C 中的引用非常相似 只不过它们是垃圾收集的 为什么 C 编译器支持以下内容如此困难 成员函数标记const 对标记的数据类型 字符串除外 的引用const 通过其中仅const可以调用成员函数吗 我相信如果 C 支持这一点

  • 从 Python 运行 m 文件

    pymat 似乎不适用于当前版本的 matlab 所以我想知道是否还有另一个等效的版本 我还没有找到 理想的要点是从 python 2 6 运行一个 m 文件 像 scipy 这样的替代方案不适合 因为我认为它们不能运行 m 文件中的所有内

  • 如何在 Saxon 中使用 XPath 3.1？

    我当前使用 XPath 3 1 语法 但由于某种原因 Saxon 输出错误 To use XPath 3 1 syntax you must configure the XPath parser to handle it 我该怎么做呢 非常

  • LINQ 选择间隔 X 分钟的记录

    我有一个简单的表格来记录输入日期 我想选择相隔 X 分钟的记录 IMAGE LOCATION IMAGE DATE 2227 jpg 08 03 2014 22 27 47 2228 jpg 08 03 2014 22 28 48 2229

  • 如何在我的小程序中使用 JXMapViewer？

    我想编写一个必须使用缩放 平移工具渲染地图图像的小程序 我发现 JXMapViewer 可以帮助我 我该如何使用它 我在哪里可以找到相关文档 帮助我编写一个小程序 请求我的图像服务器提供要渲染的图块 图像服务器怎么样 帮助我 JXMapVi

  • Android 模拟器错误：std::bad_alloc

    我正在使用 Eclipse Juno 和 Android 模拟器 SDK Tools 21 1 并且多次遇到此错误 嗯 6 小时内出现两到三次 2013 03 22 11 41 19 Emulator terminate called af

  • Apache proxypass 缓存的 IP 地址

    我使用 Apache Web 服务器 2 4 通过 proxypass 指令将传入的 HTTP 请求代理到我们的后端服务器 我还通过 Apache 传递来自后端服务器的传出请求 再次使用 proxypass 例如 lt Location o

  • 在 NiFi 处理器“InvokeHTTP”中，您在哪里编写 POST 请求的正文？

    在发布有关 Apache NiFi InvokeHTTP 的问题之前 我已经浏览了所有其他问题及其答案 但我仍然不确定我应该拥有的最佳流程 我的情况如下 1 从 Apache Kafka 我获取原始元数据 2 使用EvaluateJSONP

  • 使用 React-Native 监听 Android 上的传入链接

    我可以使用链接库通过react native监听和处理IOS上的传入链接 https facebook github io react native docs linking html https facebook github io re

  • 如何在java中验证unix时间戳？

    我需要验证给定的输入字符串是否有效Timestamp以毫秒为单位 例如 如果给定Timestamp String time 1310966356458 那么它应该返回true if String time 1000 那么它应该返回 fals

  • 我可以通过在 Airflow 中向运算符添加更多 cpu 来提高处理速度吗？

    In airflow cfg有一个部分称为 operators where default cpus被设置为1 and default ram and default disk都设置为512 我想了解如果增加这些参数是否会提高处理速度 我查

热门标签