Keras 可以像张量流数据集一样预取数据吗?

2023-12-28

在TensorFlow的Dataset API中,我们可以使用dataset.prefetch(buffer_size=xxx)在GPU处理当前批次的数据时预加载其他批次的数据,因此,我可以充分利用GPU。

我将使用 Keras,想知道是否keras有一个类似的 API 让我充分利用 GPU,而不是串行执行:读取批次 0-> 处理批次 0-> 读取批次 1-> 处理批次 1-> ...

我简单浏览了一下kerasAPI中并没有看到关于prefetch的说明。


如果你打电话fit_generator with workers> 1、使用_multiprocessing=True,它将预取queue_size个批次。

来自文档:max_queue_size:整数。生成器队列的最大大小。如果未指定,max_queue_size 将默认为 10。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Keras 可以像张量流数据集一样预取数据吗? 的相关文章