如何在不处于顶层的情况下解决 python 多处理的 pickling 错误？

我已经多次研究过这个问题，但还没有找到适合我的情况或我理解的解决方法，所以请耐心等待。

基本上，我有一个功能的分层组织，这阻止了我在顶层进行多重处理。不幸的是，我不相信我可以更改程序的布局 - 因为我需要在初始输入后创建的所有变量。

例如，假设我有这个：

import multiprocessing

  def calculate(x):
    # here is where I would take this input x (and maybe a couple more inputs)
    # and build a larger library of variables that I use further down the line

    def domath(y):
      return x * y

    pool = multiprocessing.Pool(3)
    final= pool.map(domath, range(3))

calculate(2)

这会产生以下错误：

Can't pickle <type 'function'>: attribute lookup __builtin__.function failed

我正在考虑全局变量，但我担心我必须定义太多全局变量，这可能会大大减慢我的程序速度。 有没有无需重组整个程序的解决方法？

你可以使用pathos.multiprocessing，这是一个分叉multiprocessing使用的是dill序列化器而不是pickle. dill可以序列化Python中的几乎任何东西。然后，无需编辑您的代码。

>>> from pathos.multiprocessing import ProcessingPool as Pool
>>> 
>>> def calculate(x):
...   def domath(y):
...     return x*y
...   return Pool().map(domath, range(3))
... 
>>> calculate(2)
[0, 2, 4]

你甚至可以对它发疯……因为大多数东西都是腌制的。不需要你必须用纯来烹饪的奇怪的非Pythonic解决方案multiprocessing.

>>> class Foo(object):
...   def __init__(self, x):
...     self.x = x
...   def doit(self, y):
...     return ProcessingPool().map(self.squared, calculate(y+self.x))
...   def squared(self, z):
...     return z*z
... 
>>> def thing(obj, y):
...   return getattr(obj, 'doit')(y)
... 
>>> ProcessingPool().map(thing, ProcessingPool().map(Foo, range(3)), range(3))
[[0, 0, 0], [0, 4, 16], [0, 16, 64]]

Get pathos here: https://github.com/uqfoundation https://github.com/uqfoundation