我想使用 Celery 管理任务。我想要一个任务队列(并发性为1),并且能够将任务推送到具有不同优先级的队列中,这样优先级较高的任务将抢占其他任务。
我将三个任务添加到队列中,如下所示:
添加任务.py
from tasks import example_task
example_task.apply_async((1), priority=1)
example_task.apply_async((2), priority=3)
example_task.apply_async((3), priority=2)
我有以下配置:
tasks.py
from __future__ import absolute_import, unicode_literals
from celery import Celery
from kombu import Queue, Exchange
import time
app = Celery('tasks', backend='rpc://', broker='pyamqp://')
app.conf.task_queues = [Queue('celery', Exchange('celery'), routing_key='celery', queue_arguments={'x-max-priority': 10})]
@app.task
def example_task(task_num):
time.sleep(3)
print('Started {}'.format(task_num)
return True
我希望我添加的第二个任务在第三个任务之前运行,因为它具有更高的优先级,但事实并非如此。它们按照添加的顺序运行。
我正在遵循文档并认为我已经正确配置了应用程序。
我是否做错了什么或者我误解了优先级功能?
队列有可能没有机会对消息进行优先级排序(因为它们在排序发生之前就被下载了)。尝试使用这两个设置(根据需要适应您的项目):
CELERY_ACKS_LATE = True
CELERYD_PREFETCH_MULTIPLIER = 1
预取乘数默认为 4。
我开发了一个示例应用程序来在很小的范围内实现 Celery 的优先级任务。请看一下here https://github.com/vijeth-aradhya/celery-priority-tasking。在开发它时,我遇到了一个非常相似的问题,而设置的改变实际上解决了它。
请注意,您还需要 RabbitMQ 版本 3.5.0 或更高版本。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)