当线程数超过 32705 时 boost::thread_resource_error

我正在实现消息传递算法。消息通过图的节点传播，阻塞直到它们收到足够的信息（来自其他邻居）来发送消息。

如果我将每条消息放入其自己的线程中并使用 boost::condition 来暂停线程，直到所有必需的信息可用，则该算法很容易编写。我创建了数千个线程，但大多数时候只有少数线程处于活动状态。这似乎运作得很好。

我的问题是，当单元测试时，我发现如果我创建超过 32705 个线程，我会得到

未知位置(0)：致命错误 “Tree_test”：std::异常： boost::thread_resource_error

我不知道是什么原因导致这个问题，也不知道如何解决它。

似乎有足够的可用内存（每个线程只保存两个指针 - 消息在其之间传递的对象）。

从这个问题来看：Linux 中每个进程的最大线程数？ https://stackoverflow.com/questions/344203/maximum-number-of-threads-per-process-in-linux我认为以下信息是相关的（尽管我真的不知道其中的任何含义......）

~> cat /proc/sys/kernel/threads-max
1000000

（我从 60120 增加了这个 - 我需要重新启动吗？）

 ~>ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 20
file size               (blocks, -f) unlimited
pending signals                 (-i) 16382
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) unlimited
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

我尝试摆弄待处理的信号（我的限制非常接近 2* 该数字） 和堆栈大小ulimit -S -i 8191-（我无法增加它）但这些更改似乎根本没有效果）

我使用的是 64 位 Ubuntu-10-10 如果这有帮助的话......

我认为对于系统上的 32K 线程，您应该考虑潜在的解决方案，而不是如何拥有更多线程。例如，线程池（Boost 有一些用于此的东西）。

无论如何，在您的系统上，PID 不限制为 32768 或类似的值吗？我想，你迟早会用完的，不妨设计系统以允许处理比最大线程数更多的项目。

也就是说，查看 /proc/sys/kernel/pid_max 来查看你的最大 PID——并尝试增加它。这可能会让您超过 32K（但也可能会导致不是为异常大的 PID 设计的程序出现意外行为，因此要小心）。

然后您可能会受到堆栈空间（而不是虚拟内存空间）的限制。如果您愿意，可以尝试创建具有较小堆栈的线程。