如何在Python多处理中的所有进程之间共享数据？

我想在给定文章中搜索预定义的关键字列表，如果在文章中找到关键字，则分数加 1。我想使用多重处理，因为预定义的关键字列表非常大 - 10k 个关键字，文章数量为 100k。

我碰到this https://stackoverflow.com/questions/35157367/how-to-share-data-between-python-processes问题，但它没有解决我的问题。

我尝试过这个实现但是得到None结果。

keywords = ["threading", "package", "parallelize"]

def search_worker(keyword):
    score = 0
    article = """
    The multiprocessing package also includes some APIs that are not in the threading module at all. For example, there is a neat Pool class that you can use to parallelize executing a function across multiple inputs."""

   if keyword in article:
        score += 1
    return score

我尝试了下面两种方法，但得到了三种None结果。

Method1:

 pool = mp.Pool(processes=4)
 result = [pool.apply(search_worker, args=(keyword,)) for keyword in keywords]

Method2:

result = pool.map(search_worker, keywords)
print(result)

实际输出：[没有，没有，没有]

预期输出： 3

我考虑向工作人员发送预定义的关键字列表和文章，但我不确定我是否朝着正确的方向前进，因为我没有多处理的经验。

提前致谢。

这是一个使用的函数Pool。您可以传递文本和keyword_list，它就会起作用。你可以使用Pool.starmap传递元组(text, keyword)，但是你需要处理一个有 10k 个引用的迭代text.

from functools import partial
from multiprocessing import Pool

def search_worker(text, keyword):
    return int(keyword in text)

def parallel_search_text(text, keyword_list):
    processes = 4
    chunk_size = 10
    total = 0
    func = partial(search_worker, text)
    with Pool(processes=processes) as pool:
        for result in pool.imap_unordered(func, keyword_list, chunksize=chunk_size):
            total += result

    return total

if __name__ == '__main__':
    texts = []  # a list of texts
    keywords = []  # a list of keywords
    for text in texts:
        print(parallel_search_text(text, keywords))

创建工作人员池会产生开销。可能值得针对简单的单进程文本搜索功能进行测试。可以通过创建一个实例来加快重复调用的速度Pool并将其传递到函数中。

def parallel_search_text2(text, keyword_list, pool):
    chunk_size = 10
    results = 0
    func = partial(search_worker, text)

    for result in pool.imap_unordered(func, keyword_list, chunksize=chunk_size):
        results += result
    return results

if __name__ == '__main__':
    pool = Pool(processes=4)
    texts = []  # a list of texts
    keywords = []  # a list of keywords
    for text in texts:
        print(parallel_search_text2(text, keywords, pool))