如何限制 celery 中运行的任务数量

2024-06-22

我有一个在 Heroku 上运行的应用程序,我使用 celery 和工作测功机来处理后台工作。

我正在运行使用大量内存的任务。这些任务大致在同一时间启动,但我只想同时运行一两个任务,其他任务必须在队列中等待。我怎样才能做到这一点?

如果它们同时运行,我就会耗尽内存并重新启动系统。我知道为什么它使用了大量内存并且不打算减少它


很简单:将并发(celery 工作进程的数量)限制为可以在此服务器上安全并行运行的任务数量。

请注意,如果您有不同的任务具有截然不同的资源需求(即一项任务消耗大量内存并需要几分钟才能完成,而几项任务速度很快且根本不需要太多资源),您可能最好使用两个不同的节点来为它们提供服务(一个用于繁重的任务,另一个用于轻量的任务),因此繁重的任务不会阻塞轻量的任务。您可以使用队列将任务路由到不同的 celery 节点。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何限制 celery 中运行的任务数量 的相关文章

  • del 在 Python 中什么时候有用?

    我实在想不出为什么 Python 需要del关键字 大多数语言似乎没有类似的关键字 例如 我们可以分配一个变量 而不是删除一个变量None到它 当从字典中删除时 del可以添加方法 有理由保留吗del在Python中 还是Python前垃圾
  • Python 解码 JSON 中的嵌套 JSON

    我正在处理一个 API 不幸的是它返回了格式错误 或 奇怪的格式 而是 感谢 fjarri JSON 但从积极的一面来看 我认为这可能是我学习一些有关递归以及JSON 这是我用来记录锻炼的应用程序 我正在尝试制作备份脚本 我可以很好地收到
  • 在tensorflow中使用估计器API进行训练时出错

    我正在尝试运行一个简单的SVM通过使用 input fn 返回一个数据来对 iris 数据集进行分类tf data dataset对象 但我遇到了以下错误 Traceback most recent call last File tf te
  • 使用seaborn,我如何在散点图上画一条我选择的线?

    我希望能够在seaborn 生成的图中画出一条符合我规范的线 我选择的图是 JointGrid 但任何散点图都可以 我怀疑seaborn可能不容易做到这一点 以下是绘制数据的代码 来自 Iris 数据集的花瓣长度和花瓣宽度的数据帧 impo
  • Django 自引用关系?

    我正在尝试创建模型页面 页面也应该能够有 子页面 我的模型代码如下使Python崩溃 http pastie org private butthk1aaeb3pmh7mmag1g在我的Mac python 2 6 1 和Ubuntu 10
  • url 查询中的字符 %7D 意味着什么?

    如果我使用 url 访问我的 web 应用程序 vi 5907399890173952 html 然后它就可以工作了 但是当我查看日志文件时 googlebot 会尝试访问一个类似的网址 该网址会生成异常 vi 59073998901739
  • 来自 yahoo 的 python lxml etree 小程序信息

    雅虎财经更新了他们的网站 我有一个 lxml etree 脚本 用于提取分析师建议 然而现在 分析师的建议已经存在 但只是以图表的形式出现 你可以看到一个例子这一页 https finance yahoo com quote CSX ana
  • Tastypie:GET 的身份验证和 POST 的匿名

    我使用 Django Tastypie 来管理我的用户集合 是否可以允许匿名用户在 API 中发布 在某个端点创建新用户时 并限制经过身份验证的用户仅获取自己的用户 而不是所有用户 感谢您的帮助 我发现最简单的事情就是对我正在使用的身份验证
  • 如何实例化具有已知系数的 Scikit-Learn 线性模型而不进行拟合

    背景 作为实验的一部分 我正在测试各种保存的模型 但其中一个模型来自我编写的算法 而不是来自 sklearn 模型拟合 但是 我的自定义模型仍然是线性模型 所以我想实例化一个LinearModel实例并设置coef and intercep
  • 视频的 EXIF 之类的东西

    有没有从视频文件中获取信息的标准方法 对于图像 我们有 EXIF 数据 可用于获取有关图像文件的日期 时间 大小等信息 我想知道视频是否也有这样的东西 用例是 我有很多用数码相机拍摄的视频 我想将它们重命名为更有意义的名称 例如 YYYY
  • 如何设置 pandas DataFrame _repr_html_ 方法的默认样式?

    我有一个 pandas DataFrame 其中有一列是 url 并且我编写了以下格式化程序以将其作为链接呈现在我的笔记本中 def make clickable val target blank to open new window re
  • 如何在Python中生成0-1矩阵的所有可能组合?

    如何生成大小为 K N 的 0 1 矩阵的所有可能组合 例如 如果我取 K 2 和 N 2 我会得到以下组合 combination 1 0 0 0 0 combination 2 1 0 0 0 combination 3 0 1 0 0
  • 重置Keras模型的所有权重

    我希望能够重置整个 Keras 模型的权重 这样我就不必再次编译它 编译模型目前是我的代码的主要瓶颈 这是我的意思的一个例子 import tensorflow as tf model tf keras Sequential tf kera
  • 使用 Cython 扩展模块分发共享库和一些 C 代码

    我正在尝试从大型 C 共享库 libbig so 中获取一些函数 并通过 Cython 将它们公开给 Python 为此 我有一个小 C 文件 small cpp 它为我需要的共享库的功能提供了一个薄包装器 从而可以轻松地通过 Cython
  • Python Selenium 将内容添加到 pandas 数据帧

    我正在尝试循环list用于抓取内容的邮政编码this url http kadastralekaart com 但我面临着错误 例如TimeoutException and StaleElementReferenceException 我该
  • 是否可以通过 Python 使用 Cocoa API?

    我想知道是否可以将 Cocoa Apple 的 API 与 Python 一起使用 以便能够运行像这样的任何代码link https developer apple com documentation appkit nsworkspace
  • 使用 Python for PyQt WebEngine 授予对 Cam & Mic 的访问权限

    我正在构建一个从 Python 调用的简单 Web 应用程序 我正在使用下面的代码 加载此页面时 以编程方式授予对摄像头和麦克风的访问权限的最简单方法是什么 我只在网上找到了 C 示例 无法找到在 Python 代码中执行此操作的方法 fr
  • 从线程队列中获取所有项目

    我有一个线程将结果写入队列 在另一个线程 GUI 中 我定期 在 IDLE 事件中 检查队列中是否有结果 如下所示 def queue get all q items while 1 try items append q get nowai
  • 命名空间与常规包

    命名空间 Python 包之间有什么区别 没有 init py 和一个常规的Python包 有一个 init py 特别是当 init py普通包裹是空的吗 我很好奇 因为最近我忘记了 init py在我制作的包中 我从未注意到任何问题 事
  • Doctest 返回失败,但“预期”和“得到”完美匹配

    我正在尝试做列表部分的第二个练习 http www openbookproject net thinkcs python english2e ch09 html exercises 如何像计算机科学家一样思考 一书的内容 我基本上必须将给定

随机推荐

  • 使用 LambdaMetafactory 访问 Java Bean 方法

    我的问题与以下密切相关显式使用 LambdaMetafactory https stackoverflow com questions 26775676 explicit use of lambdametafactory在该线程中 提供了一
  • SFINAE 启用非模板成员函数

    这可能是重复的 但我只是找不到OP明显有与我遇到的相同问题的地方 我有一堂课 我正在尝试启用operator 仅当类模板参数不是无符号类型时 include
  • 删除 UIWebView 阴影?

    有谁知道是否可以删除 UIWebView 窗口上的阴影 例子 http uploadingit com files 1173105 olub5 shadow png http uploadingit com files 1173105 ol
  • 如何使用 multer 在 Node.js 中设置不同的目的地?

    我正在尝试使用上传任何文件穆特包 https www npmjs org package multer 当我在我的中使用以下代码时它工作正常server js file var express require express app exp
  • asp5 IConfigurationRoot 获取 json 数组

    我正在尝试向我的 asp 5 mvc 6 Web 应用程序 rc1 final 库 提供一些额外的配置数据以部署在 Azure 上 此附加数据的一部分由 json 文件中的数据数组组成 我可以将此 json 文件添加到我的配置中 并且在调试
  • 提交未经允许的参数时如何引发异常?

    我找到了这段代码here http edgeapi rubyonrails org classes ActionController Parameters html ActionController Parameters action on
  • FIRMessaging 委托错误

    我尝试添加 FIRMessagingDelegate 但 Xcode 给出错误 Cannot find protocol declaration for FIRMessagingDelegate 我导入了 FirebaseMessaging
  • 如何使用 JavaScript/CSS 制作圆形 ScrollBox?

    我想重新创建圆形滚动框 如下面的 GIF 所示 我不认为如果使用 css 制作圆形滚动框是可能的 那么我想添加padding left给每个孩子ul使滚动框显示为圆形 为了达成这个 向 li 1 添加 0px 的内边距向 li 2 添加 2
  • 致命错误:未捕获错误:无法使用标量作为数组警告

    我有以下代码 final 1 gt 2 id 1 final id 0 3 该代码似乎工作正常 但我收到此警告 警告 不能在第 X 行中将标量值用作数组 符合 final id 0 3 谁能告诉我如何解决这个问题 你需要设置 final i
  • Coq执行分号“;”的区别和句号“.”

    给定一个有效的 Coq 证明 使用 战术上 是否有一个通用公式可以将其转换为有效的等效证明 替代 许多 Coq 证明都使用 或战术排序战术 作为初学者 我想观察各个步骤的执行 所以我想替换 for 但令我惊讶的是 我发现这可能会破坏证明 有
  • 创建无边框表单而不丢失 Windows 命令

    我已将表单更改为无边框表单 我只是更改了BorderStyle财产给bsNone 但现在我的应用程序失去了 Windows 锚点和一些命令 例如 WIN 对齐表单客户端 WIN 最小化表格 WIN 表格右对齐 WIN 表格左对齐 我尝试过设
  • 我应该使用 Node.js 而不是 Rails 来实现实时 Web 应用程序吗?

    我正在构建一个复杂的网络应用程序 该应用程序必须大量处理实时数据并向用户显示该数据 鉴于我更习惯Rails 我想知道转储rails并使用node js来构建应用程序是否有很大的优势 或者是否有一种方法可以在Rails中拥有Node js的实
  • 我什么时候应该中断一个函数?

    将长函数分解为主函数和辅助函数是明智的做法 我知道模块外部只会调用主要函数 但它的长度可能会令人生畏 课本对行数有限制 但我觉得这太死板了 附 我正在用 Python 编程 需要处理传入的消息 该函数返回一个包含消息的元组 但采用 Pyth
  • DOT/graphviz 边缘标签中的下标

    如何使用 Graphviz DOT 的 HTML 功能向边缘标签添加下标字符 像这样 digraph g 1 gt 2 label
  • “iOS 17.0.simruntime”无法打开,因为无法验证开发者

    我刚刚下载了 iOS 17 运行时 但将其复制到目标位置后 会打开此弹出窗口 并且 Xcode 无法按预期使用模拟器 Downloaded from the Apple Developer site 我怎样才能解决这个问题 可以打电话sim
  • 生成唯一的机器 ID

    我需要编写一个函数来生成一个对于运行 Windows 操作系统的给定机器来说唯一的 id 目前 我正在使用 WMI 查询各种硬件参数 并将它们连接在一起并对它们进行哈希处理以得出唯一的 id 我的问题是 我应该使用哪些建议参数 目前 我使用
  • 如何保存Chrome的Coverage工具分析的结果?

    乍一看 它看起来像是非常有用的工具 但是我找不到任何类似的操作Save或类似的选项 有谁知道是否可以保存Chrome的Coverage工具分析的结果 谢谢 正如上面的评论中提到的 以及标记重复 https stackoverflow com
  • 具有不同时间步长的卡尔曼滤波器

    我有一些数据代表从两个不同传感器测量的物体的位置 所以 我需要进行传感器融合 更困难的问题是来自每个传感器的数据基本上是在随机时间到达的 我想使用 pykalman 来融合和平滑数据 pykalman如何处理可变时间戳数据 数据的简化示例如
  • 如何仅列出 Bash 目录中的文件而不列出目录?

    如何列出一个文件夹的所有文件 但不列出其文件夹或子文件 换句话说 我怎样才能只列出文件 Using find find maxdepth 1 type f 使用 maxdepth 1选项确保您只在当前目录中查找 或者 如果您替换 与某个路径
  • 如何限制 celery 中运行的任务数量

    我有一个在 Heroku 上运行的应用程序 我使用 celery 和工作测功机来处理后台工作 我正在运行使用大量内存的任务 这些任务大致在同一时间启动 但我只想同时运行一两个任务 其他任务必须在队列中等待 我怎样才能做到这一点 如果它们同时