\qquad
我们知道，在更新权重与偏置时设置了学习率
η
\eta
η控制下降速度详见5/1-1 神经网络识别手写数字及MATLAB程序。
W
k
=
W
k
−
1
−
η
∂
C
∂
W
k
−
1
W^{k}=W^{k-1}-\eta\frac{\partial C}{\partial W^{k-1}}
Wk=Wk−1−η∂Wk−1∂C
b
k
=
b
k
−
1
−
η
∂
C
∂
b
k
−
1
b^{k}=b^{k-1}-\eta\frac{\partial C}{\partial b^{k-1}}
bk=bk−1−η∂bk−1∂C其中C为损失函数。若学习率设置过小，则权重与偏置更新缓慢,若学习率设置过大则容易越过最小值点（我们的目标是最小化损失函数），导致一直不能求得最小值点。所以学习率的选择非常关键。
\qquad
以开口向上的抛物线为例，我们希望越靠近最小值点学习率越小；梯度越大学习率越大，梯度越小学习率越小,于是我们可以用如下方法改进：
η
w
=
η
∑
i
=
1
t
(
∂
C
∂
W
i
)
2
+
ϵ
\eta_w=\frac{\eta}{\sqrt{\sum_{i=1}^t(\frac{\partial C}{\partial W^{i}})^2+\epsilon}}
ηw=∑i=1t(∂Wi∂C)2+ϵ
η
上式表明，随着更新次数的变大，学习率越来越小。当
∂
C
∂
W
i
\frac{\partial C}{\partial W^{i}}
∂Wi∂C趋于0时
η
w
\eta_w
ηw趋于一个常数。此时
W
k
=
W
k
−
1
−
η
w
∂
C
∂
W
k
−
1
W^{k}=W^{k-1}-\eta_w\frac{\partial C}{\partial W^{k-1}}
Wk=Wk−1−ηw∂Wk−1∂C
b
k
=
b
k
−
1
−
η
w
∂
C
∂
b
k
−
1
b^{k}=b^{k-1}-\eta_w\frac{\partial C}{\partial b^{k-1}}
bk=bk−1−ηw∂bk−1∂C
\qquad
当前步的下降方向，不只是由当前的梯度决定，而是由当前梯度与以往梯度共同决定。这样有可能跳出局部极小值，例如下图
从C点出发，A点是局部极小值点，如果点走到B点，此时梯度与历史梯度反向，故更新方向会往A点走，很容易陷入局部极小。若改用动量法，以上一刻的梯度与此刻梯度的加权平均决定总梯度的方向（如上图，虽然在B点梯度与C点梯度相反，但若想达到全局最小，需要向C同负梯度方向更新）。故可用$
V
t
=
β
V
t
−
1
+
(
1
−
β
)
∂
C
∂
W
t
V^t=\beta V^{t-1}+(1-\beta)\frac{\partial C}{\partial W^{t}}
Vt=βVt−1+(1−β)∂Wt∂C
W
t
=
W
t
−
1
−
η
V
t
W^t=W^{t-1}-\eta V^t
Wt=Wt−1−ηVt这里
β
\beta
β一般取
0.9
0.9
0.9。
