在 pandas 中高效使用替换

我正在寻找使用replace在 python3 中以有效的方式运行。我拥有的代码正在完成任务，但速度太慢，因为我正在处理大型数据集。因此，每当需要权衡时，我的首要任务是效率而不是优雅。这是我想做的一个玩具：

import pandas as pd
df = pd.DataFrame([[1,2],[3,4],[5,6]], columns = ['1st', '2nd'])

       1st  2nd
   0    1    2
   1    3    4
   2    5    6


idxDict= dict()
idxDict[1] = 'a'
idxDict[3] = 'b'
idxDict[5] = 'c'

for k,v in idxDict.items():
    df ['1st'] = df ['1st'].replace(k, v)

这使

     1st  2nd
   0   a    2
   1   b    4
   2   c    6

如我所愿，但这需要太长时间。最快的方法是什么？

编辑：这是一个比this https://stackoverflow.com/questions/41985566/pandas-replace-dictionary-slowness一，其解决方案类似。

use map http://pandas.pydata.org/pandas-docs/stable/generated/pandas.Series.map.html#pandas.Series.map执行查找：

In [46]:
df['1st'] = df['1st'].map(idxDict)
df
Out[46]:
  1st  2nd
0   a    2
1   b    4
2   c    6

避免出现没有有效密钥可以通过的情况na_action='ignore'

您还可以使用df['1st'].replace(idxDict)但回答你关于效率的问题：

timings

In [69]:
%timeit df['1st'].replace(idxDict)
%timeit df['1st'].map(idxDict)

1000 loops, best of 3: 1.57 ms per loop
1000 loops, best of 3: 1.08 ms per loop

In [70]:    
%%timeit
for k,v in idxDict.items():
    df ['1st'] = df ['1st'].replace(k, v)

100 loops, best of 3: 3.25 ms per loop

所以使用map这里速度快了 3 倍以上

在更大的数据集上：

In [3]:
df = pd.concat([df]*10000, ignore_index=True)
df.shape

Out[3]:
(30000, 2)

In [4]:    
%timeit df['1st'].replace(idxDict)
%timeit df['1st'].map(idxDict)

100 loops, best of 3: 18 ms per loop
100 loops, best of 3: 4.31 ms per loop

In [5]:    
%%timeit
for k,v in idxDict.items():
    df ['1st'] = df ['1st'].replace(k, v)

100 loops, best of 3: 18.2 ms per loop

对于 30K 行 df，map大约快 4 倍，因此可扩展性比replace或循环