Tensorflow笔记4：学习率衰减策略tf.train.cosine_decay_restarts

  TF在learning_rate_decay.py中提供了几种非常骚气的学习率下降方法，今天就来玩一玩。只需要简单的参数设定，就能够产生神奇的lr衰减效果。
  首先简介lr的一般使用方法：

lr = cosine_decay_restarts(
	cfg.TRAIN.LEARNING_RATE * 10, 
	global_step, 
	first_decay_steps, 
	t_mul=2.0, 
	m_mul=1.0, 
	alpha=0.0
	)
...
total_loss = self.net.train_step(sess, blobs, lr.eval(), train_op) # 用的时候直接eval()即可

一、cosine_decay_restarts

  在ICLR2016的论文**[Loshchilov & Hutter, ICLR2016], SGDR: Stochastic Gradient Descent with Warm Restarts**中介绍了Warm的学习率设计方法。简而言之就是衰减了但是还会回来，周期性地变化。使用方法如下：

tf.train.cosine_decay_restarts(
    learning_rate,
    global_step,	# 当前全局iter迭代次数，传入一个递增的variable
    first_decay_steps,	# 第一次衰减结束发生在哪一步，设一个epoch含有100个iter，可以设为2*100
    t_mul=2.0,	# 后续的warm restarts衰减周期相较于前一次的倍率（周期越来越长）
    m_mul=1.0,	# 每一次warm restarts学习率峰值的改变
    alpha=0.0,	# 学习率到最小衰减到多少
    name=None
)

  大概长这样：

还有更多有意思的下降方法：[link]