我正在尝试使用fit_generator使用自定义生成器来读取对于内存来说太大的数据。我想要训练 125 万行，因此我让生成器一次生成 50,000 行。fit_generator has 25 steps_per_epoch，我认为每个周期会带来 1.25MM。我添加了一个打印语句，以便我可以看到该进程正在执行多少偏移量，并且我发现当它进入第 2 纪元的几步时，它超出了最大值。该文件中总共有 175 万条记录，并且一次它通过了 10 个步骤，它在create_feature_matrix调用（因为它不带入任何行）。
def get_next_data_batch():
import gc
nrows = 50000
skiprows = 0
while True:
d = pd.read_csv(file_loc,skiprows=range(1,skiprows),nrows=nrows,index_col=0)
print(skiprows)
x,y = create_feature_matrix(d)
yield x,y
skiprows = skiprows + nrows
gc.collect()
get_data = get_next_data_batch()
... set up a Keras NN ...
model.fit_generator(get_next_data_batch(), epochs=100,steps_per_epoch=25,verbose=1,workers=4,callbacks=callbacks_list)
我是否使用了 fit_generator 错误，或者是否需要对我的自定义生成器进行一些更改才能使其正常工作？
No - fit_generator不会重置生成器，它只是继续调用它。为了实现您想要的行为，您可以尝试以下操作：
def get_next_data_batch(nb_of_calls_before_reset=25):
import gc
nrows = 50000
skiprows = 0
nb_calls = 0
while True:
d = pd.read_csv(file_loc,skiprows=range(1,skiprows),nrows=nrows,index_col=0)
print(skiprows)
x,y = create_feature_matrix(d)
yield x,y
nb_calls += 1
if nb_calls == nb_of_calls_before_reset:
skiprows = 0
else:
skiprows = skiprows + nrows
gc.collect()
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
