Celery 和 RabbitMQ - 队列优先级、消费者优先级、任务优先级

在我的 python 应用程序中，我使用 Celery 作为任务生产者和消费者，使用 RabbitMQ 作为代理。现在，我正在实施优先级。起初，它看起来根本不起作用，因为根据文档，我刚刚添加了x-max-priority队列的参数。我更深入地查找，发现了另一个优先级——消费者优先级和任务优先级。所以，现在看起来有三个不同的优先级，我完全困惑了。您能解释一下其中的区别吗？

队列最大优先级：即https://www.rabbitmq.com/priority.html https://www.rabbitmq.com/priority.html

Queue('my_queue', exchange=Exchange('my_queue'), routing_key='my_queue', queue_arguments={'maxPriority': 10})

消费者优先级：即https://www.rabbitmq.com/consumer-priority.html https://www.rabbitmq.com/consumer-priority.html

Queue('my_queue', exchange=Exchange('my_queue'), routing_key='my_queue', consumer_arguments={'priority': 10})

任务优先级：即https://github.com/celery/celery/issues/2635#issuecomment-173597053 https://github.com/celery/celery/issues/2635#issuecomment-173597053

my_task.apply_async(args=(arg1, arg2), priority=6)

谢谢。

经过更多研究后编辑：

经过更多阅读后我了解到：

队列最大优先级是一种限制，表明该队列仅侦听优先级设置为 max 直至此参数的任务。但是更高优先级的任务呢？队列是否将优先级降低到其自身定义的最大优先级？不理睬他们？

消费者优先看起来像是消费者优先。如果有两个优先级不同的消费者，并且两个消费者都空闲，则第一个消费消息的消费者是优先级较高的消费者。但为什么它是用队列定义的，而不是用消费者本身定义的呢？

任务优先级应该是优先顺序，这对我的需求来说是最重要的。它告诉您应该优先阅读此消息。

因此，看起来最好的优先级将通过多个工作线程和并发设置为 1 的所有优先级的组合来实现，而不是一个具有更高并发性和并发度设置为 1 的工作线程。worker_prefetch_multiplier and task_acks_late配置。

你怎么认为？是对的吗？

• x-最大优先级是用于定义优先级队列的 RabbitMQ 参数。提供的值是队列支持的最高优先级。
• 消费者优先如果有多个消费者可以工作，则对特定消费者有利。
• 任务优先级是你告诉 celery 任务优先级的方式。您的代理（和队列）需要支持优先级才能执行任何操作。

如果您向 celery 提供优先级高于队列的任务x-max-priority，celery 会将消息放入具有 x-max-priority 值的队列中。

我不确定你所说的“最佳优先级”是什么意思。当你启动一个 celery Worker 时，它会启动一个 RabbitMQ 消费者和 N 个其他进程（由并发参数控制）来处理任务。主工作进程将使用任务的消息并将任务放入其池中以供池工作人员之一处理。

正如您所说，您可以通过为实际执行任务的每个进程设置一个队列消费者，以不同的方式从队列中消费。这是否具有更大的任务吞吐量取决于您的环境以及通过队列的任务数量；但是，我不认为它会影响任务的优先级。

如果您有优先级队列（特别是如果您的任务长时间运行），那么选择较低的预取值是明智的，因为在将高优先级任务放入队列之前已经从队列中消耗（提取）的任何任务将首先运行。