我添加了一个回调来衰减学习率:
keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=100,
verbose=0, mode='auto',epsilon=0.00002, cooldown=20, min_lr=0)
这是我的张量板回调:
keras.callbacks.TensorBoard(log_dir='./graph/rank{}'.format(hvd.rank()), histogram_freq=10, batch_size=FLAGS.batch_size,
write_graph=True, write_grads=True, write_images=False)
我想确保学习率调度程序在训练期间启动,所以我想将学习率输出到张量板上。但我找不到在哪里可以设置它。
我还检查了优化器 api,但没有运气。
keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=None, decay=0.0, amsgrad=False)
如何将学习率输出到张量板?