我有两个大型数据集，一个 2.6 GB，另一个 1GB。我已经设法将它们作为数据帧读取。

接下来，我想要创建一个新的 DataFrame，在其中我想要将两个数据集的唯一 ID 进行匹配，并丢弃两个数据集之间没有匹配的 ID 的行。

我尝试过合并少量行，我认为它有效，但我想合并整个事情，并且还想显示一个进度条。我正在使用 Jupyter Notebook 和 Python 3。

Matrikkel2019 是两个数据集中相同的唯一 ID，我想保留两个数据集中的列，但只保留具有相同 matrikkel2019 ID 的值

Code

from tqdm import tqdm_notebook

tqdm_notebook().pandas() 

merge = energydata.merge(dwellingData, left_on = "matrikkel2019", right_on="matrikkel2019").progress_apply()

我尝试过使用lambda x: x**2在 - 的里面progress_apply函数，但我收到错误：TypeError: unsupported operand type(s) for ** or pow(): 'list' and 'int' and Invalid arguments error

主要问题是合并操作花费的时间太长，而我的 8Gb RAM 电脑运行缓慢，所以我不知道需要多长时间或是否会完成。

tqdm支持 pandas 合并操作的进度条。

取自这个问题的代码，here https://stackoverflow.com/questions/56256861/is-it-possible-to-use-tqdm-for-pandas-merge-operation

import pandas as pd
from tqdm import tqdm

df1 = pd.DataFrame({'lkey': 1000*['a', 'b', 'c', 'd'],'lvalue': np.random.randint(0,int(1e8),4000)})
df2 = pd.DataFrame({'rkey': 1000*['a', 'b', 'c', 'd'],'rvalue': np.random.randint(0, int(1e8),4000)})

#this is how you activate the pandas features in tqdm
tqdm.pandas()
#call the progress_apply feature with a dummy lambda 
df1.merge(df2, left_on='lkey', right_on='rkey').progress_apply(lambda x: x)

对于您的代码以及导入，它应该是：

tqdm.pandas()
merge = energydata.merge(dwellingData, left_on = "matrikkel2019", right_on="matrikkel2019").progress_apply(lambda x: x)