安排大 ETA 的 celery 任务

2024-03-02

我目前正在使用 celery 尝试未来的任务ETA http://docs.celeryproject.org/en/latest/userguide/calling.html#eta-and-countdown功能和 Redis 代理。使用 Redis 代理的已知问题之一与可见性超时 http://docs.celeryproject.org/en/latest/getting-started/brokers/redis.html#id1:

如果任务在可见性超时内未得到确认,该任务将被重新交付给另一个工作人员并执行。

这会导致 ETA/倒计时/重试任务出现问题,其中执行时间超过可见性超时;事实上,如果发生这种情况,它将再次执行,并且再次循环执行。

我可以设想的一些任务的预计到达时间为数周/数月。设置visibility timeout足够大来涵盖这些任务可能是不明智的。

是否有任何方法可以使用 Redis 代理处理这些任务?我知道这个问题 https://stackoverflow.com/questions/41300209/celery-sqs-duplication-of-tasks-sqs-visibility-timeout?rq=1。更换经纪人是唯一的选择吗?


我通过以下方式使用 redis 执行此操作:

我们的客户可以安排发布一些内容。我们将版本及其执行时间存储在数据库中。

然后,我们使用 celerybeat 执行定期任务(每小时或适合您的时间),检查我们的发布表中是否有计划在下一个周期(再次每小时或适合您的时间)内安排的发布。如果找到的话,我们就会用 celery 为他们安排一个任务。这使我们能够缩短预计到达时间。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

安排大 ETA 的 celery 任务 的相关文章

  • sklearn 估计器管道的参数无效

    我正在实现 O Reilly 书中的一个示例 Python 机器学习简介 使用 Python 2 7 和 sklearn 0 16 我正在使用的代码 pipe make pipeline TfidfVectorizer LogisticRe
  • 为什么 Python 在导入脚本时只保存脚本的字节码?

    既然执行Python字节码会比运行原始源代码更快 因为Python不需要重新编译 为什么Python在导入脚本时只保存编译后的字节码呢 为每个执行的脚本保存 pyc 文件不是更好吗 无论如何 Python 解释器的启动时间都需要时间 即使您
  • 在Python中,如何将矩阵逆时针旋转90度?

    gt gt gt def rotate matrix k List List int For example if I have m 1 2 3 2 3 3 5 4 3 rotate matrix m should give me 3 3
  • str.translate 与 str.replace - 何时使用哪一个?

    何时以及为什么使用前者而不是后者 反之亦然 目前尚不完全清楚为什么有些人使用前者以及为什么有些人使用后者 它们有不同的目的 translate只能用任意字符串替换单个字符 但一次调用可以执行多次替换 它的参数是一个特殊的表 它将单个字符映射
  • scipy.optimize on pandas dataframe

    我试图搜索它 但结果很差 有人可以向我解释一下如何在 Pandas DataFrame 上执行 optimize minimize 以便最小化 DataFrame 中的类别和结果列之间的错误 考虑这个例子 import pandas as
  • 通过 python 中的另外两个修改数组[重复]

    这个问题在这里已经有答案了 假设我们有三个一维数组 A 长度为 5 B 长度相同 示例中为5 C 更长 比如长度为 100 C最初用零填充 A给出索引C应更改的元素 它们可能会重复 以及B给出应添加到初始零的值C 例如 如果A 1 3 3
  • 键入的完整命令行

    我想获得输入时的完整命令行 This join sys argv 在这里不起作用 删除双引号 另外 我不想重新加入已解析和拆分的内容 有任何想法吗 你太迟了 当键入的命令到达 Python 时 您的 shell 已经发挥了它的魔力 例如 引
  • Keras model.predict 函数给出输入形状错误

    我已经在 Tensorflow 中实现了通用句子编码器 现在我正在尝试预测句子的类概率 我也将字符串转换为数组 Code if model model type universal classifier basic class probs
  • Matplotlib 图例,跨列添加项目而不是向下添加项目

    对于下面的简单绘图 有没有办法让 matplotlib 填充图例 以便它从左到右填充行 而不是第一列然后第二列 gt gt gt from pylab import gt gt gt x arange 2 pi 2 pi 0 1 gt gt
  • 在linux上安装python ssl模块,无需重新编译

    是否可以在已经安装了 OpenSSL 的 Linux 机器上安装 python 的 SSL 模块 而无需重新编译 python 我希望它就像复制几个文件并将它们包含在库路径中一样简单 Python版本是2 4 3 谢谢 是否可以在已经安装了
  • 如何从hdfs读取文件[重复]

    这个问题在这里已经有答案了 我在 project1目录下的hadoop文件系统中有一个文本文件名mr txt 我需要编写 python 代码来读取文本文件的第一行 而不将 mr txt 文件下载到本地 但我无法从 hdfs 打开 mr tx
  • Django 多对多关系(类别)

    我的目标是向我的 Post 模型添加类别 我希望以后能够按不同类别 有时是多个类别 查询所有帖子 模型 py class Category models Model categories 1 red 2 blue 3 black title
  • 为什么 re.findall 在查找字符串中的三元组项时不具体。 Python

    所以我有四行代码 seq ATGGAAGTTGGATGAAAGTGGAGGTAAAGAGAAGACGTTTGA OR 0 re findall r ATG 9 TAA TAG TGA seq 首先让我解释一下我正在尝试做什么 如果这令人困惑
  • ValueError:数据必须为正(boxcox scipy)

    我正在尝试将我的数据集转换为正态分布 0 8 298511e 03 1 3 055319e 01 2 6 938647e 02 3 2 904091e 02 4 7 422441e 02 5 6 074046e 02 6 9 265747e
  • 在请求中设置端口

    我正在尝试利用cgminer使用 Python 的 API 我对利用requests图书馆 我了解如何做基本的事情requests but cgminer想要更具体一点 我想缩小 import socket import json sock
  • 将 window.location 传递给 Flask url_for

    我正在使用 python 在我的页面上 当匿名用户转到登录页面时 我想将一个变量传递到后端 以便它指示用户来自哪里 发送 URL 因此 当用户单击此锚链接时 a href Sign in a 我想发送用户当前所在页面的当前 URL
  • 无法导入QUERY_TERMS

    我正在运行一个网站Python and Django Django filters 2 1 installed Django 2 1 installed 当我运行时 我收到以下错误 importError Could not import
  • 是否可以使用 Anaconda 包作为 Google Cloud Functions 的依赖项?

    我正在使用 Python 运行时编写 Google Cloud Function 我需要包含一些无法使用的依赖项pip 如文档中所述here https cloud google com functions docs writing spe
  • python中有没有一种方法可以将存储在列表中的正则表达式模式列表应用到单个字符串?

    我有一个正则表达式模式列表 存储在列表类型中 我想将其应用于字符串 有谁知道一个好方法 将列表中的每个正则表达式模式应用于字符串 和 如果匹配 则调用与列表中该模式关联的不同函数 如果可能的话我想用 python 来做这件事 提前致谢 im
  • 基于值的 matplotlib 条形图颜色

    有没有一种方法可以根据条形图的值对条形图的条形进行着色 例如 values below 0 5 red values between 0 5 to 0 green values between 0 to 08 blue etc 我找到了一些

随机推荐

  • 如何许可用 C# 开发的应用程序 [关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我正在使用 C Sharp 2008 Express Edition 开发一个软件 我几乎已经完成了 现在我需要许可该软件 商业用途 我对
  • Chrome 59 和 Selenium/Fluentlenium 的基本身份验证

    Chrome 59 有删除了对 https user 的支持 电子邮件受保护 URLs https www chromestatus com feature 5669008342777856 我有一个使用此功能的测试 但该功能现已损坏 因此
  • 如何配置 mongodb 在 docker 中运行以在 Windows 上使用外部驱动器

    我正在尝试设置一个 docker 映像 该映像将运行一个 mongo 实例 该实例指向不在默认 docker 容器内的驱动器位置 我使用以下命令来创建问题 docker run p 27017 27017 name mongo test v
  • C#:接口中的枚举

    我见过几个与此问题类似的线程 但没有一个真正回答我想问的问题 对于初学者来说 不幸的是 我正在使用现有的 API 代码 虽然可能有更好的方法来完成我所要求的事情 但我只能以类似的方式进行操作 因为向后兼容性是非 可以协商 我有一个响应类 当
  • 具有 RESTful JSON 服务、HTML5 和 jQuery ajax 的 Java Web 框架

    快到 2013 年了 HTML5 时代到来了 jQuery 是 Web Javascript 的事实上的标准 此链接适用于 2010 年 https stackoverflow com questions 3882082 rest json
  • Android 中的线程示例 [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我想要一些关于 android 中线程创建和调用线程的简单示例 这是一个很好的教程 http andr
  • Mac 上 Eclipse 的键盘设置

    我已经在大学完成了第一门 Java 课程 想在自己的计算机上练习 然而 在下载 Eclipse 并能够编写非常简单的程序后 当我尝试编写接受用户输入的程序时 我遇到了障碍 例如 Keyboard in readInteger 因为 Keyb
  • 从 React 上传 Cloudinary 图像:我包含 Cloudinary 未签名预设,但得到“使用未签名上传时必须指定上传预设”

    我正在尝试基于此 codepen 示例构建一个简单的 Cloudinary 图像上传 https codepen io team Cloudinary pen QgpyOK https codepen io team Cloudinary
  • 开发者工具无法在 Chrome osx 中运行

    尝试在 Chrome 中打开开发人员工具 无论是通过主菜单还是通过检查元素上下文选项 我看到检查器窗口闪烁 然后消失 每次 这是怎么回事 有没有办法在不删除我的个人资料的情况下重置开发人员工具配置 我在 Apple MacBook Pro
  • Android 3.0中如何强制用户在密码过期超时后更改密码?

    我试图使用 Android 密码过期功能DeviceAdmin 当我打电话时setPasswordExpirationTimeout API 仅此而已 发送通知但实际上并不强制用户更改 密码 它仅在超时后发送通知 V DevicePolic
  • 如何在 Flask 中重定向到外部域?

    在我的 Flask 应用程序中完成操作后 我需要重定向回外部 URL 代码看起来像这样 if form next data is not None return redirect form next data where form next
  • CSS 剪辑路径定位问题

    我使用 SVG 元素创建了一个相当简单的形状 然后使用该元素将其放入我的 CSS 中clip path 它应该使我的角变圆 但由于某种原因 只有 1 个角的效果完美 这是形状
  • 如何手动触发Laravel模型事件

    当没有数据更改时 laravel 检查 isDirty 并且从未执行更新查询 因此不会触发模型更新事件 我们如何手动触发事件 手动触发事件 user User findOrFail id user gt fill data user gt
  • 使用 Google App Engine 进行异步获取请求

    我正在阅读文档异步获取请求 https developers google com appengine docs python urlfetch asynchronousrequests在GAE中 Python 不是我的第一语言 因此我很难
  • 循环视图路径错误,Spring MVC

    我正在尝试做教程 gt http spring io guides gs serving web content http spring io guides gs serving web content 当我运行它时 它显示圆形视图路径 问
  • 使 Ruby 字符串不可变

    需要使我的程序中的某些 Ruby 字符串不可变 最好的解决方案是什么 写一个包装器String class The freeze方法对我不起作用 我看到freeze不允许您解冻该对象 以下是我的情况 我有一个类将字符串传递给回调 该字符串恰
  • PHP for 循环中允许的内存大小耗尽

    当我尝试在 PHP 中操作一个巨大的数组并将结果作为响应返回时 我遇到了致命错误HTTP POST 请求 允许的内存大小 536870912 字节已耗尽 我已经尝试过设置ini set memory limit 1 为了看看我是否得到结果
  • 如果绑定源为空,如何为图像设置默认源?

    我正在使用绑定作为源Image控制
  • 在eclipse中使用jsr305注释Findbugs没有发现bug

    我一直在尝试将 jsr 305 注释与 Findbugs 一起使用 特别是 CheckForNull 注释 它可以避免我刚刚发现的向客户报告的错误 我已将 jsr305 jar 和annotations jar 添加到我的构建路径中 但 f
  • 安排大 ETA 的 celery 任务

    我目前正在使用 celery 尝试未来的任务ETA http docs celeryproject org en latest userguide calling html eta and countdown功能和 Redis 代理 使用