multiprocessing.Pool:何时使用 apply、apply_async 或 map?

2023-12-21

我还没有看到明确的用例示例池.申请 https://docs.python.org/2/library/multiprocessing.html#multiprocessing.pool.multiprocessing.Pool.apply, Pool.apply_async https://docs.python.org/2/library/multiprocessing.html#multiprocessing.pool.multiprocessing.Pool.apply_async and Pool.map https://docs.python.org/2/library/multiprocessing.html#multiprocessing.pool.multiprocessing.Pool.map。我主要用的是Pool.map;别人的优点是什么?


回到 Python 的旧时代,要调用具有任意参数的函数,您可以使用apply:

apply(f,args,kwargs)

apply在Python2.7中仍然存在,但在Python3中不存在,并且通常不再使用。如今,

f(*args,**kwargs)

是优选的。这multiprocessing.Pool模块尝试提供类似的接口。

Pool.apply就像Python一样apply,只不过函数调用是在单独的进程中执行的。Pool.apply阻塞直到函数完成。

Pool.apply_async也像Python内置的apply,只不过调用立即返回而不是等待结果。一个AsyncResult对象被返回。你称其为get()方法来检索函数调用的结果。这get()方法会阻塞,直到函数完成。因此,pool.apply(func, args, kwargs)相当于pool.apply_async(func, args, kwargs).get().

相比之下Pool.apply, the Pool.apply_async方法还有一个回调,如果提供的话,会在函数完成时调用。这可以用来代替调用get().

例如:

import multiprocessing as mp
import time

def foo_pool(x):
    time.sleep(2)
    return x*x

result_list = []
def log_result(result):
    # This is called whenever foo_pool(i) returns a result.
    # result_list is modified only by the main process, not the pool workers.
    result_list.append(result)

def apply_async_with_callback():
    pool = mp.Pool()
    for i in range(10):
        pool.apply_async(foo_pool, args = (i, ), callback = log_result)
    pool.close()
    pool.join()
    print(result_list)

if __name__ == '__main__':
    apply_async_with_callback()

可能会产生如下结果

[1, 0, 4, 9, 25, 16, 49, 36, 81, 64]

注意,与pool.map,结果的顺序可能与pool.apply_async打了电话。


因此,如果您需要在单独的进程中运行某个函数,但希望当前进程block直到该函数返回,使用Pool.apply. Like Pool.apply, Pool.map阻塞直到返回完整结果。

如果您希望工作进程池异步执行许多函数调用,请使用Pool.apply_async. The order结果的顺序不能保证与调用的顺序相同Pool.apply_async.

另请注意,您可以拨打多个电话不同的函数与Pool.apply_async(并非所有调用都需要使用相同的函数)。

相比之下,Pool.map将相同的函数应用于许多参数。 然而,与Pool.apply_async,结果按照与参数顺序相对应的顺序返回。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

multiprocessing.Pool:何时使用 apply、apply_async 或 map? 的相关文章

随机推荐