类似的未回答问题：Dask DataFrame 的逐行处理
我正在处理数百万行长的数据帧，因此现在我尝试并行执行所有数据帧操作。我需要转换为 Dask 的此类操作之一是：
for row in df.itertuples():
ratio = row.ratio
tmpratio = row.tmpratio
tmplabel = row.tmplabel
if tmpratio > ratio:
df.loc[row.Index,'ratio'] = tmpratio
df.loc[row.Index,'label'] = tmplabel
在 Dask 中按索引设置值或有条件地在行中设置值的适当方法是什么？鉴于.loc不支持 Dask 中的项目分配，似乎没有set_value, at[], or iat[]在达斯克也可以。
我尝试过使用地图分区 with assign，但我没有看到任何在行级别执行条件分配的能力。
Dask dataframe 不支持高效迭代或行分配。一般来说，这些工作流程很少能很好地扩展。 Pandas 本身也很慢。
相反，您可以考虑使用系列.where方法。这是一个最小的例子：
In [1]: import pandas as pd
In [2]: df = pd.DataFrame({'x': [1, 2, 3], 'y': [3, 2, 1]})
In [3]: import dask.dataframe as dd
In [4]: ddf = dd.from_pandas(df, npartitions=2)
In [5]: ddf['z'] = ddf.x.where(ddf.x > ddf.y, ddf.y)
In [6]: ddf.compute()
Out[6]:
x y z
0 1 3 3
1 2 2 2
2 3 1 3
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
