有哪些策略可以解决或调试这个问题？
distribution.worker - 警告 - 内存使用率很高，但工作线程没有数据可存储到磁盘。也许其他进程正在泄漏内存？进程内存：26.17 GB -- 工作内存限制：32.66 GB
基本上，我只是在一台机器上运行大量并行作业，但只是一个 dask 调度程序，并且尝试了不同数量的工作人员。每当我启动大量作业时，内存都会随着时间的推移而逐渐增加，并且只有在我反弹集群时才会下降。
我正在尝试使用 fire_and_forget。 .release() 期货会有帮助吗？我通常通过 client.submit 从 REPL 启动这些任务，然后终止 REPL。
如果这是将 dask 与泄漏库一起使用的正确方法，我会很高兴偶尔退回工作人员并添加一些重试模式。
UPDATE:
我已尝试将工作内存限制为 2 GB，但仍然收到此错误。当错误发生时，它似乎进入某种不可恢复的循环，不断打印错误并且不进行任何计算。
在这种情况下，Dask 不会泄漏内存。还有别的事。达斯克只是告诉你这件事。您使用 Dask 运行的代码似乎正在泄漏某些内容。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
