有时候会发现txt文件里有很多重复数据，这里自写了一个去重的python程序，供学习使用！
def quchong():
print('*'*50)
print('导入txt文件中。。。。')
num = 0
oriTxt = "测试.txt" # 包含重复字段的文本
genTxt = "完成.txt" # 去重后的文本
lines = set()
outfile = open(genTxt, "w",encoding='gb18030', errors='ignore')
with open(oriTxt, "r",encoding='gb18030', errors='ignore') as f:
for line in f:
if line not in lines:
num += 1
outfile.write(line)
lines.add(line)
outfile.close()
print("success，共生成" + str(num) + "条数据！")
if __name__ == '__main__':
print('徐浪一键去重工具')
print('请把你要去重的数据，复制到测试.txt，并放到和程序同一个文件夹下')
quchong()
input('按任意键结束')
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
