由于我有一个很大的数据集,而且我的电脑功率不大,所以我认为在 Google Colab 上使用 TPU 是个好主意。
所以,这是我的 TPU 配置:
try:
tpu = tf.distribute.cluster_resolver.TPUClusterResolver()
print('Running on TPU ', tpu.master())
except ValueError:
tpu = None
if tpu:
tf.config.experimental_connect_to_cluster(tpu)
tf.tpu.experimental.initialize_tpu_system(tpu)
strategy = tf.distribute.experimental.TPUStrategy(tpu)
else:
strategy = tf.distribute.get_strategy()
print("REPLICAS: ", strategy.num_replicas_in_sync)
这是我的训练:
hist = model.fit(train_dataset, epochs=10, verbose=1, steps_per_epoch=count_data_items(filenames)//64)
仅仅制定战略是不够的。您应该正确使用此策略。
您可能需要调整管道、增加批量大小等。
看看这里:https://cloud.google.com/tpu/docs/performance-guide
另一个重要的一点是TPU
有一个预热期——在第一次调用期间(每次调用都使用新的输入形状),它花费大量时间构建计算图。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)