Gunicorn 工作线程和线程

2024-01-21

就 Gunicorn 而言,我知道有各种工作线程类,但对于本次对话,我只关注同步和异步类型。

据我了解...

sync
workers = (2 * cpu) + 1
worker_class = sync

async (gevent)
workers = 1
worker_class = gevent
worker_connections = a value (lets say 2000)

因此(基于 4 核系统)使用同步工作线程,我最多可以并行处理 9 个连接。使用异步,我最多可以拥有 2000 个,但需要注意异步带来的注意事项。

问题

  • 那么线程适合在哪里呢?我可以将线程添加到同步和 异步工作者类型?
  • Gunicorn 工人的最佳选择是什么? 我是否希望将 Gunicorn 放在 Django API 前面,并使用 需要并行处理数百个请求吗?
  • gevent 和同步工作者类线程安全吗?

让我尝试回答一下。让我们假设一开始我的部署只有一个 Gunicorn Worker。这使我一次只能处理一个请求。我的工作人员的工作只是拨打 google.com 并获取查询的搜索结果。现在我想增加我的吞吐量。我有以下选项:

仅保留一名工作人员并增加该工作人员中的线程数

这是最简单的。由于线程比进程更轻量(内存消耗更少),因此我只保留一个工作线程并向其添加多个线程。 Gunicorn 将确保 master 可以向worker 发送多个请求。由于工作线程是多线程的,因此它能够处理 4 个请求。极好的。现在为什么我需要更多的工人?

为了回答这个问题,假设我需要对谷歌返回的搜索结果做一些工作。例如,我可能还想为每个结果查询计算一个素数。现在我正在使我的工作负载计算受限,并且我遇到了 python 全局解释器锁的问题。尽管我有 4 个线程,但每次只有一个线程可以实际处理结果。这意味着要获得真正的并行性能,我需要多个工作人员。

增加工作人员数量,但所有工作人员都是单线程

所以为什么我需要这个是当我需要获得真正的并行处理时。每个工作人员都可以并行调用 google.com、获取结果并进行任何处理。全部并行。极好的。但缺点是进程更重,我的系统可能无法满足不断增加的工人完成并行性的需求。所以最好的解决方案是增加worker并为每个worker添加更多线程。

增加worker数量并且每个worker都是多线程的

我想这不需要进一步解释。

将工作线程类型更改为异步

现在我为什么要这样做呢?要回答这个问题,请记住,即使是线程也会消耗内存。 gevent 库实现了一些协程(您可以查找的基本结构),它允许您无需创建线程即可获取线程。因此,如果您将gunicorn 设计为使用worker 类型的gevent,您将获得不必在worker 中创建线程的好处。假设您正在获取线程而无需显式创建它们。

因此,为了回答您的问题,如果您使用 Sync 以外的其他类型的worker_type,则无需增加gunicorn 配置中的线程数。无论如何,你可以做到这一点,但这有点违背了目的。

希望这有帮助。

我也将尝试回答具体问题。

  • 不,异步工作线程类不存在线程选项。 这实际上需要通过文档说得更清楚。 想知道为什么那没有发生。

  • 这是一个需要更多了解您的具体情况的问题 应用。如果处理这100个并行请求 只涉及 I/O 类型的操作,例如从数据库中获取、保存、 从其他应用程序收集数据,然后您可以利用 线程工作者。但如果情况并非如此并且您想要 在 n 核 CPU 上执行,因为任务的计算量非常大 界,也许就像计算素数一样,你需要利用 同步工作人员。异步的原因略有不同。使用 异步,您需要确保您的处理不受计算限制, 这意味着您将无法使用多个核心。 您获得的优势是多个线程占用的内存 不会在那里。但你还有其他问题,比如非猴子补丁 图书馆。仅当线程工作人员不满足时才转移到异步 您的要求。

  • 如果你想要绝对同步,非线程工作人员是最好的选择 库之间的线程安全。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Gunicorn 工作线程和线程 的相关文章

  • PyTorch:如何获取张量的形状作为 int 列表

    在numpy中 V shape给出 V 维度的整数元组 在张量流中V get shape as list 给出 V 维度的整数列表 在火炬中 V size 给出一个大小对象 但如何将其转换为整数 对于 PyTorch v1 0 及可能更高版

随机推荐