当从 SQL 数据库读取大型关系到 pandas 数据框时,最好有一个进度条,因为元组的数量是静态已知的,并且可以估计 I/O 速率。它看起来像tqdm
模块有一个功能tqdm_pandas
它将报告列上映射函数的进度,但默认情况下调用它不会像这样报告 I/O 进度。是否可以使用tqdm
在通话中显示进度条pd.read_sql
?
编辑:答案具有误导性 -chunksize
对数据库端的操作没有影响。请参阅下面的评论。
你可以使用chunksize
参数来做这样的事情:
chunks = pd.read_sql('SELECT * FROM table', con=conn, chunksize=100)
df = pd.DataFrame()
for chunk in tqdm(chunks):
df = pd.concat([df, chunk])
我认为这也会使用更少的内存。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)