我正在尝试找到使用带有 dask 延迟的 for 循环的正确语法。我找到了几个教程和其他问题,但没有一个适合我的条件,这是非常基础的。
首先,这是并行运行 for 循环的正确方法吗?
%%time
list_names=['a','b','c','d']
keep_return=[]
@delayed
def loop_dummy(target):
for i in range (1000000000):
pass
print('passed value is:'+target)
return(1)
for i in list_names:
c=loop_dummy(i)
keep_return.append(c)
total = delayed(sum)(keep_return)
total.compute()
这产生了
passed value is:a
passed value is:b
passed value is:c
passed value is:d
Wall time: 1min 53s
如果我连续运行这个,
%%time
list_names=['a','b','c','d']
keep_return=[]
def loop_dummy(target):
for i in range (1000000000):
pass
print('passed value is:'+target)
return(1)
for i in list_names:
c=loop_dummy(i)
keep_return.append(c)
它实际上更快。
passed value is:a
passed value is:b
passed value is:c
passed value is:d
Wall time: 1min 49s
我见过一些例子,其中指出 Dask 有少量开销,但这似乎需要足够长的时间才能证明合理,不是吗?
我的实际 for 循环涉及更繁重的计算,其中我为各种目标构建模型。