简单记录一下数据标签txt格式划分为多个文件,通常我们标注号的标签,都是在一个txt文件夹中,我们训练的时候需要把txt中的标签按照一定的比例划分为多个文件,这里贴出划分为三个文件的代码,如果你需要划分为两个文件,那么可以将划分好的另外的一个文件复制粘贴到你需要的文件中。代码如果下:
import os
import random
l_train=[]
l_val=[]
l_test=[]
def ReadFileDatas(original_filename):
file=open(original_filename,'r+')
FileNameList=file.readlines()
random.shuffle(FileNameList)
file.close()
print("数据集总量:", len(FileNameList))
return FileNameList
def TrainValTestFile(FileNameList):
i=0
j=len(FileNameList)
for line in FileNameList:
if i<(j*0.6):
i+=1
l_train.append(line)
elif i<(j*0.8):
i+=1
l_val.append(line)
else:
i+=1
l_test.append(line)
print("总数量:%d,此时创建train,val,test数据集"%i)
return l_train,l_val,l_test
def WriteDatasToFile(listInfo, new_filename):
file_handle = open(new_filename,'w')
for str_Result in listInfo:
file_handle.write(str_Result)
file_handle.close()
print('写入 %s 文件成功.' % new_filename)
if __name__ == "__main__":
listFileInfo = ReadFileDatas('D:\\Software\\xx\\tt\\test1.txt')
l_train,l_val,l_test=TrainValTestFile(listFileInfo)
WriteDatasToFile(l_train, 'D:\\Software\\xx\\train.txt')
WriteDatasToFile(l_val, 'D:\\Software\\xx\\val.txt')
WriteDatasToFile(l_test, 'D:\\Software\\xx\\test.txt')
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)