Celery (Django) 速率限制

2024-01-04

我正在使用 Celery 来处理多个数据挖掘任务。其中一项任务连接到远程服务,该服务最多允许 10 个同时连接per user(或者换句话说,它CAN全球连接数超过 10 个,但CANNOT每个单独作业超过 10 个连接)。

I THINK 令牌桶(限速) http://celeryproject.org/docs/internals/reference/celery.worker.buckets.html是我正在寻找的,但我似乎找不到它的任何实现。


Celery 具有速率限制功能,并包含通用令牌桶实现。

设置任务的速率限制:http://docs.celeryproject.org/en/latest/userguide/tasks.html#Task.rate_limit http://docs.celeryproject.org/en/latest/userguide/tasks.html#Task.rate_limit

或者在运行时:

http://docs.celeryproject.org/en/latest/userguide/workers.html#rate-limits http://docs.celeryproject.org/en/latest/userguide/workers.html#rate-limits

令牌桶的实现在 Kombu 中

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Celery (Django) 速率限制 的相关文章

  • Celery + SQLAlchemy:DatabaseError:(DatabaseError)SSL错误:解密失败或坏记录mac

    当在启用 SSL 的 postgresql 数据库上使用 celery 和多个工作线程时 有时会触发标题错误 我使用 Flask SQLAlchemy 配置 正如这里提到的 https github com celery celery is
  • Django - ImportError:无法导入名称 Celery

    这是我第一次使用 celery 我完成了这个教程 将 celery 与 Django 一起使用 http docs celeryproject org en latest django first steps with django htm
  • 如何让 celery Worker 停止接收新任务 (Kubernetes)

    因此 我们有一个 kubernetes 集群 运行一些带有 celery 工作线程的 pod 我们使用 python3 6 来运行这些工作程序 celery 版本是 3 1 2 我知道 真的很旧 我们正在努力升级它 我们还设置了一些自动缩放
  • 即使设置了 cookie,RabbitMQ 身份验证也会失败

    我最近在运行 lattePanda 的 Windows 10 上安装了带有 ErlanOTP 的rabbitmq 我运行rabbitmqctl status并收到以下错误 C Program Files RabbitMQ Server ra
  • AMQP 消息的版本控制

    是否有关于在 AMQP 中使用版本化消息的既定最佳实践 假设我正在对消息模式进行语义版本控制 我希望支持消息的当前主要版本以及以前的主要版本 这是一个现实的期望吗 处理版本化消息的不同选项有何优缺点 我已经看到版本化路由密钥和版本消息头作为
  • MassTransit 生成我想忽略的_skipped 队列

    任何人都可以猜出问题是什么 因为我不知道如何解决这个问题 大众运输产生 skipped队列 我不知道为什么它会生成这些队列 它是在执行发布请求响应时生成的 请求客户端是使用 MassTransit RequestClientExtensio
  • 从 celery 工作人员到普罗米修斯的自定义指标

    我有一些 celery 工作人员在 kubernetes 下的容器中运行 它们不会由 celery 自动缩放 并且每个都在单个进程中运行 即没有多处理 我想从他们那里获取一堆不同的指标到普罗米修斯中 我研究过 celery promethe
  • Redis SYNC 套接字上的错误情况:连接被拒绝

    在我的 django 应用程序中使用 celery 和 redis 一切都工作正常 直到我遇到了问题 redis 文件的位置已更改 redis 无法访问它们 经过查找 原来这是由于网络随机攻击造成的 需要添加confg 我添加文件后 一段时
  • Erl 无法连接到本地 EPMD。为什么?

    Erlang R14B04 erts 5 8 5 source 64 bit rq 1 async threads 0 kernel poll false Eshell V5 8 5 abort with G root ip 10 101
  • 如何重置rabbitmq管理用户

    使用rabbitmq 我们可以安装管理插件 然后我们通过浏览器访问http localhost 55672 使用访客 访客 问题是 我无法再登录 因为我更改了密码并为角色输入了空白 有没有办法重置rabbitmq管理的用户 您可以通过以下方
  • 为 PyCharm 中的所有配置设置相同的环境变量

    我有一个与 Celery 和很多不同的工作人员一起的项目 如何避免每次将 PyCharm 中的环境变量复制粘贴到每个运行 调试配置 有什么方法可以在项目设置中设置它们吗 找到解决方案here https stackoverflow com
  • 使用 Celery 通过 Gevent 进行实时、同步的外部 API 查询

    我正在开发一个 Web 应用程序 该应用程序将接收用户的请求 并且必须调用许多外部 API 来编写对该请求的答案 这可以直接从主 Web 线程使用 gevent 之类的东西来扇出请求来完成 或者 我在想 我可以将传入的请求放入队列中 并使用
  • celery可以分配任务给指定worker吗

    Celery 会将任务发送给空闲的工人 我有一个任务每 5 秒运行一次 我希望这个任务只发送给一个指定的工作人员 其他任务可以共享剩余的工人 芹菜可以这样做吗 我想知道这个参数是什么 CELERY TASK RESULT EXPIRES这是
  • 服务器在 pika.exceptions.StreamLostError: Stream 连接丢失后关闭

    我的队列中有一些图像 我将每个图像传递到我的 Flask 服务器 在其中完成图像处理 并在我的rabbitmq 服务器中收到响应 收到响应后 我收到此错误 pika exceptions StreamLostError 流连接丢失 104
  • RabbitMQ:无法启动rabbitmq_management插件

    Version gt sudo rabbitmqctl status grep rabbit RabbitMQ rabbit RabbitMQ 3 5 6 Error gt sudo rabbitmq plugins enable rabb
  • 小组芹菜链任务

    shared task def process record x return 1 2 4 4 5 6 shared task def add pro id return pro id 10 shared task def dmap it
  • RabbitMQ 等待消息超时

    我想向 RabbitMQ 服务器发送一条消息 然后等待回复消息 在 回复 队列上 当然 我不想永远等待 以防处理这些消息的应用程序出现故障 需要有一个超时 这听起来像是一项非常基本的任务 但我找不到方法来做到这一点 我现在在使用 Java
  • 从 RabbitMQ 迁移到 Amazon SQS [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 我们的初创公司目前正在使用RabbitMQ with Python Django 对于消息队列 现在我们计划转移到Amazon SQS其高可用性
  • 确认 RabbitMQ 消息是否有超时?

    我想设置一个超时时间 超过该超时时间后 出队的消息将自动被 NACK 拒绝 当我将消息出队时 我会等待消息通过套接字传输并且另一方确认其接收 我是否需要保留计时器列表 或者 RMQ 可以自动处理这个列表吗 private void Run
  • 如何禁止 celery 中的 pickle 序列化

    Celery 默认使用 pickle 作为任务的序列化方法 如中所述FAQ http ask github com celery faq html isn t using pickle a security concern 这代表一个安全漏

随机推荐

  • R在没有管理员权限的情况下将数据帧写入excel

    我对 R 完全是个新手 所以如果答案是显而易见的 请耐心等待 我在一台不属于我的笔记本电脑上工作 因此除了管理员为我完成的原始安装之外 我没有任何管理权限 我认为缺乏管理员权限是我无法写入 Excel 文件的原因 请参阅下面的示例 原始数据
  • 从 Rcpp 返回 NA

    我正在尝试通过 Rcpp 返回 NA 我不懂为什么get na 按照这里的建议在这里不起作用post https stackoverflow com a 23745470 6484844 gt Rcpp cppFunction Numeri
  • 在 C 中将动态分配的数组作为参数传递

    所以 我的主网上有一个动态分配的数组 int main int array int len array int malloc len sizeof int return EXIT SUCCESS 我还想构建一个函数来对这个动态分配的数组执行
  • jasonp跨域请求“将json包装成回调方法”

    我添加了 回调 使用匿名函数获取请求中的 url 我必须在服务器端代码中添加什么才能使其跨域工作 这里使用getJSON是否正确 这是没有 JSONP 的播放器的示例http www freeenergymedia com shared P
  • 将变量从 Scala 中的存在类型 TypeCast 转换为运行时类型

    这个线程 https stackoverflow com questions 29380839 trait runtime type of type parameter through typetag when used with exis
  • 不在网络抓取中迭代列表

    通过链接 我尝试创建两个列表 一个用于国家 地区 另一个用于货币 但是 我陷入了困境 它只给了我第一个国家 地区名称 但没有迭代到所有国家 地区的列表 任何有关如何解决此问题的帮助将不胜感激 提前致谢 这是我的尝试 from bs4 imp
  • ORDER BY 重新加载,cassandra

    我想对给定的列族进行排序 为此我尝试使用选项 CLUSTERING ORDER BY 创建一个表 我总是遇到以下错误 1 变体 A 导致错误请求 缺少列 userid 的 CLUSTERING ORDER陈述 CREATE TABLE te
  • 使用Service、TimerTask和BroadcastReceiver来检查各种更新

    我正在尝试创建一个简单的程序来执行以下操作 由我的活动 UpdateServiceActivity 启动的服务 NewsService 检查新闻 如果发现新闻 NewsService 则会向接收者 NewsReceiver 发送广播 接收到
  • Android 10秒后隐藏布局?

    我在单击按钮时显示了一个布局 我想在 10 秒后隐藏该布局 protected void onCreate Bundle savedInstanceState super onCreate savedInstanceState mVolHa
  • 在 Visual Studio 2008 中调试 Web 服务时如何避免超时错误

    我正在使用控制台应用程序调用 Web 服务方法 并使用 vs2008 中的调试器单步调试代码 有时我需要停下来思考一些事情 比较一下价值观 不是说几个小时 只是几分钟 此时web服务超时了 如何避免这种情况 让web服务根本不超时 谢谢 好
  • 如何排除和过滤pandas中的几列?

    我知道我们可以使用 pandas dataframe 过滤器仅选择几列 但是我们也可以仅排除某些列吗 这是 MWE import numpy as np import pandas as pd df pd DataFrame id 1 2
  • 如何在 MKMapView 上绘制当前位置到所需位置之间的路线?

    我想显示我当前位置和所需位置之间的路线 我能够做到这一点 但是当源点和目的地点到目前为止时 它不会显示路线并给出内存警告 您能建议任何示例代码或任何方法来做到这一点吗 以下代码用于绘制当前位置到所需位置之间的路径 void viewDidL
  • jqGrid dataUrl下拉列表不刷新

    我是 Web 开发新手 正在开发我的第一个 ASP NET MVC 3 应用程序 我正在使用 jqGrid 并注意到刷新页面不会刷新下拉列表中的值 直到我在另一个选项卡中打开同一页面 然后刷新第一个选项卡将获取更改的值 我有一个控制器操作
  • For-each 与迭代器。哪个将是更好的选择

    考虑以下场景 List
  • 将新记录添加到私人 Outlook 通讯组列表

    我需要从文件或数据库中读取包含姓名和电子邮件的记录 并将它们添加到现有的 Oulook 通讯组列表 来自私人联系人 而不是来自 GAL 我刚刚看到使用 LINQ to DASL 从 OL 读取邮件和约会的示例 但我不知道如何列出 dist
  • Bootstrap 表,空单元格中的破折号/连字符

    我正在使用Wenzhixin的bootstrap table模块 http bootstrap table wenzhixin net cn http bootstrap table wenzhixin net cn 当我使用 JSON 加
  • 在express.js中设置cookie出现j:前缀

    我正在尝试使用 res cookie 设置 cookie 如下所示 res cookie userId req user id set cookie here console log req user id returned correct
  • 将哈希锚定到页面底部

    转到页面 底部 的通用 HTML 锚标记是什么 我知道标签 会自动将用户带到页面顶部 但我不太确定页面底部 没有一个 不过 你可以用类似的东西来模拟它 a a 然后链接到 bottom 你可能会发现这个帖子 https stackoverf
  • 如何将 int 转换为一系列字符

    我正在尝试将 8 位微控制器 PIC 上的 C 整数分解为其 ASCII 等效字符 例如 将 982 转换为 9 8 2 到目前为止我想出的一切似乎都相当暴力 这是我现在基本上正在做的主要想法 if 10 lt n n lt 100 iso
  • Celery (Django) 速率限制

    我正在使用 Celery 来处理多个数据挖掘任务 其中一项任务连接到远程服务 该服务最多允许 10 个同时连接per user 或者换句话说 它CAN全球连接数超过 10 个 但CANNOT每个单独作业超过 10 个连接 I THINK 令