如何将大数据文件分块写入 CSV 文件?
我有一组大型数据文件(1M 行 x 20 列)。然而,我只对数据文件中大约 5 列感兴趣。
我想通过仅使用感兴趣的列来制作这些文件的副本,从而使事情变得更容易,这样我就可以使用较小的文件进行后期处理。所以我计划将文件读入数据帧,然后写入 csv 文件。
我一直在研究将大数据文件分块读取到数据帧中。但是,我无法找到有关如何将数据分块写入 csv 文件的任何信息。
这是我现在正在尝试的,但这不会附加 csv 文件:
with open(os.path.join(folder, filename), 'r') as src:
df = pd.read_csv(src, sep='\t',skiprows=(0,1,2),header=(0), chunksize=1000)
for chunk in df:
chunk.to_csv(os.path.join(folder, new_folder,
"new_file_" + filename),
columns = [['TIME','STUFF']])