如何在 ipyparallel 客户端和远程引擎之间最好地共享静态数据？

我在具有不同参数的循环中运行相同的模拟。每个模拟都使用 pandas DataFrame (data) 只能读取，不能修改。使用ipyparallel（IPython并行），我可以在模拟开始之前将此DataFrame放入我视图中每个引擎的全局变量空间中：

view['data'] = data

然后，引擎可以访问 DataFrame 以进行在其上运行的所有模拟。复制数据的过程（如果是 pickled，data是 40MB) 只需几秒钟。然而，如果模拟数量增加，内存使用量就会变得非常大。我想这个共享数据正在被复制对于每个任务而不仅仅是对于每个引擎。与引擎共享客户端静态只读数据的最佳实践是什么？每个引擎复制一次是可以接受的，但理想情况下每个主机只需复制一次（我在主机 1 上有 4 个引擎，在主机 2 上有 8 个引擎）。

这是我的代码：

from ipyparallel import Client
import pandas as pd

rc = Client()
view = rc[:]  # use all engines
view.scatter('id', rc.ids, flatten=True)  # So we can track which engine performed what task

def do_simulation(tweaks):
    """ Run simulation with specified tweaks """
    #  Do sim stuff using the global data DataFrame
    return results, id, tweaks

if __name__ == '__main__':
    data = pd.read_sql("SELECT * FROM my_table", engine)
    threads = []  # store list of tweaks dicts
    for i in range(4):
        for j in range(5):
            for k in range(6):
                threads.append(dict(i=i, j=j, k=k)

    # Set up globals for each engine.  This is the read-only DataFrame
    view['data'] = data
    ar = view.map_async(do_simulation, threads)

    # Our async results should pop up over time.  Let's measure our progress:
    for idx, (results, id, tweaks) in enumerate(ar):
        print 'Progress: {}%: Simulation {} finished on engine {}'.format(100.0 * ar.progress / len(ar), idx, id)
        # Store results as a pickle for the future
        pfile = '{}_{}_{}.pickle'.format(tweaks['i'], tweaks['j'], tweaks['j'])
        # Save our results to a pickle file
        pd.to_pickle(results, out_file_path + pfile)

    print 'Total execution time: {} (serial time: {})'.format(ar.wall_time, ar.serial_time)

如果模拟计数很小（~50），那么需要一段时间才能开始，但我开始看到进度打印语句。奇怪的是，多个任务将被分配给同一个引擎，并且在该引擎的所有分配的任务完成之前我看不到响应。我希望看到来自enumerate(ar)每次单个模拟任务完成时。

如果模拟计数很大（~1000），则需要很长时间才能开始，我看到所有引擎上的 CPU 都在加速，但直到很长一段时间（~40 分钟）才看到进度打印语句，当我do查看进度，似乎有一大块（>100）任务进入了同一个引擎，并等待该引擎完成，然后才提供一些进度。当那台发动机完成后，我看到了ar对象每 4 秒提供新响应 - 这可能是写入输出 pickle 文件的时间延迟。

最后，host1 还运行 ipycontroller 任务，并且它的内存使用量疯狂增加（Python 任务显示使用 >6GB RAM，内核任务显示使用 3GB）。 host2 引擎根本没有显示太多内存使用情况。什么会导致内存激增？

几年前我在代码中使用了这个逻辑，并且我开始使用this http://ipyparallel.readthedocs.io/en/latest/multiengine.html?highlight=sync_imports#moving-python-objects-around。我的代码是这样的：

shared_dict = {
    # big dict with ~10k keys, each with a list of dicts
}

balancer = engines.load_balanced_view()

with engines[:].sync_imports(): # your 'view' variable 
    import pandas as pd
    import ujson as json

engines[:].push(shared_dict)

results = balancer.map(lambda i: (i, my_func(i)), id)
results_data = results.get()

如果模拟计数很小（~50），那么需要一段时间才能得到 开始了，但我开始看到进度打印语句。奇怪的是， 多个任务将被分配给同一个引擎，但我没有看到 响应，直到完成所有分配的任务 引擎。我希望每次都能看到 enumerate(ar) 的响应 单个模拟任务完成。

就我而言，my_func()这是一种复杂的方法，我将大量日志消息写入文件中，因此我有了打印语句。

关于任务分配，正如我所使用的load_balanced_view()，我离开图书馆找到了路，而且效果很好。

如果模拟次数很大（~1000），则需要很长时间才能得到 开始时，我看到所有引擎上的 CPU 都在加速，但没有任何进展 print 语句会被看到很长时间（~40 分钟），当我这样做时 查看进度，似乎有一大块（>100）任务转到了相同的任务 引擎，并在提供之前等待该引擎完成 一些进展。当那个引擎完成时，我看到了 ar 对象 每 4 秒提供新的响应 - 这可能是时间延迟 写入输出 pickle 文件。

很长一段时间以来，我都没有经历过，所以我不能说什么。

我希望这可以解决您的问题。

PS：正如我在评论中所说，你可以尝试多处理池 https://docs.python.org/3.5/library/multiprocessing.html#multiprocessing.pool.Pool。我想我还没有尝试使用它来共享大的只读数据作为全局变量。我会尝试一下，因为似乎有效 https://kaushikghose.wordpress.com/tag/python.