Django Celery 内存未释放

在我的 django 项目中，我有以下依赖项：

• Django==1.5.4
• django-celery==3.1.9
• amqp==1.4.3
• 海带==3.0.14
• librabbitmq==1.0.3 （按照建议https://stackoverflow.com/a/17541942/1452356 https://stackoverflow.com/a/17541942/1452356)

在 dev_settings.py 中：

DEBUG = False
BROKER_URL = "django://"
import djcelery
djcelery.setup_loader()
CELERYBEAT_SCHEDULER = "djcelery.schedulers.DatabaseScheduler"
CELERYD_CONCURRENCY = 2
# CELERYD_TASK_TIME_LIMIT = 10 

CELERYD_TASK_TIME_LIMIT按照此处的建议进行评论https://stackoverflow.com/a/17561747/1452356 https://stackoverflow.com/a/17561747/1452356随着debug_toolbar正如建议的https://stackoverflow.com/a/19931261/1452356 https://stackoverflow.com/a/19931261/1452356

我在 shell 中启动我的工作人员：

./manage.py celeryd --settings=dev_settings

然后我发送一个任务：

class ExempleTask(Task):

  def run(self, piProjectId):
    table = []
    for i in range(50000000):
      table.append(1)
    return None

使用 django 命令：

class Command(BaseCommand):

  def handle(self, *plArgs, **pdKwargs):
    loResult = ExempleTask.delay(1)
    loResult.get()
    return None

With:

./manage.py purge_and_delete_test --settings=dev_settings

我通过以下方式监控内存使用情况：

watch -n 1 'ps ax  -o rss,user,command | sort -nr | grep celery |head -n 5'

每次我调用该任务时，它都会增加 celeryd/worker 进程的内存消耗，与其中分配的数据量成比例......

这似乎是一个常见问题（参见其他 stackoverflow 链接），但是即使使用最新的依赖项，我也无法修复它。

Thanks.

这是一个 Python 和操作系统问题，而不是真正的 django 或 celery 问题。无需太深入：

1) 一旦进程向操作系统请求内存寻址空间，它就永远不会释放内存寻址空间。它从来不会说“嘿，我已经完成了，你可以把它拿回来”。在您给出的示例中，我预计进程大小会增长一段时间，然后稳定下来，可能会保持在较高的基线。在示例分配之后，您可以调用gc强制垃圾收集的接口看看如何

2) 这通常不是问题，因为未使用的页面会被操作系统调出，因为您的进程停止访问已释放的地址空间。

3）如果你的进程正在泄漏对象引用，从而阻止 python 进行垃圾收集以重新分配空间以供以后重用，那么这是一个问题通过那个过程，并要求您的进程向操作系统请求更多地址空间。在某些时候，操作系统会喊叔叔，并（可能）用它的 oomkiller 或类似机制杀死你的进程。

4) 如果泄漏，请修复泄漏或设置CELERYD_MAX_TASKS_PER_CHILD，并且您的子进程（可能）会在扰乱操作系统之前自杀。

这是关于 Python 内存管理的一个很好的一般性讨论：CPython内存分配 https://stackoverflow.com/questions/18522574/cpython-memory-allocation

还有一些小事： 使用xrange not range- range 将生成所有值，然后迭代该列表。xrange只是一个发电机。是否设置了 Django DEBUG=False？