Celery 中每个任务的分叉流程

2024-01-01

我目前使用 Python 的 C 扩展库,但它似乎存在内存泄漏。在我的上运行的任务celeryd使用这个 C 扩展库做一些事情,并且celeryd大约一个小时后会消耗大量内存。由于多种原因,我无法修补这个 C 扩展库,但我想为 Celery 中的每个任务分叉进程。 Celery 有这样的选择吗?


您可以使用CELERYD_MAX_TASKS_PER_CHILD选项或--maxtasksperchild芹菜开关。

要在每个任务后重新启动工作进程:

CELERYD_MAX_TASKS_PER_CHILD=1

https://celery.readthedocs.org/en/latest/userguide/workers.html#max-tasks-per-child-setting https://celery.readthedocs.org/en/latest/userguide/workers.html#max-tasks-per-child-setting

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Celery 中每个任务的分叉流程 的相关文章

随机推荐