一个神经网络用不同的数据做训练，就可以识别不同的东西，那么神经网络究竟是怎么训练的？
我们用
t
水温
t_{水温}
t水温表示希望设定的水温，而用
o
水温
o_{水温}
o水温表示实际的水温，用
t
水量
t_{水量}
t水量 表示希望的水量，用
o
水量
o_{水量}
o水量表示实际的水量，这样就可以用希望值与实际值的误差来衡量是否“差不多”，即当误差比较小时，则认为水温和水量调节的差不多了。但是由于误差有可能是正的（实际值小于希望值时），也可能是负的（实际值大于希望值时），不方便使用，所以我们常常用输出的“误差平方和”作为衡量标准。如下式所示：
E
(
阀门
)
=
(
t
水温
−
o
水温
)
2
+
(
t
水量
−
o
水量
)
2
E_{(阀门)} = (t_{水温} - o_{水温})^2 + (t_{水量} - o_{水量})^2
E(阀门)=(t水温−o水温)2+(t水量−o水量)2
其中E是阀门大小的函数，通过适当调节冷、热水阀门的大小，就可以使得E取得比较小的值，当E比较小时，就认为热水器调节好了。这里的“阀门”就相当于神经网络的权值w。
Δ θ i + 1 = θ i + Δ θ i \Delta\theta_{i+1} = \theta_i + \Delta\theta_i Δθi+1=θi+Δθi
在某一点的导数就是曲线在该点切线的斜率，图的左半部分，曲线的切线是从左上到右下的，其斜率也就是导数值是小于0的负数，而在图的右半部分，曲线的切线是从左下到右上的，其斜率也就是导数值是大于0的正数。
左边的导数值是负的，这时
θ
\theta
θ 值应该加大，右边的导数值是正的，这时
θ
\theta
θ 值应该减小，这样才能使得θ值向中间靠近，逐步接近
f
(
θ
)
f(\theta)
f(θ)取值最小的地方。所以，
θ
\theta
θ 的修改方向刚好与导数值的正负号相反。因此，我们可以这样修改
θ
i
\theta_i
θi 值：
Δ
θ
i
+
1
=
θ
i
+
Δ
θ
i
\Delta\theta_{i+1} = \theta_i + \Delta\theta_i
Δθi+1=θi+Δθi
Δ
θ
i
=
−
d
f
d
θ
\Delta\theta_i = - \frac{df}{d\theta}
Δθi=−dθdf
其中 − d f d θ -\frac{df}{d\theta} −dθdf 表示函数 f ( θ ) f(\theta) f(θ) 的导数。
训练神经网络要优化的目标，就是求误差平方和的最小值，也就是损失函数E(w)的最小值。
我们可以用同样的方法求解E(w)的最小值，所不同的是E(w)是一个多变量函数，所有的权重都是变量，都要求解，每个权重的修改方式与前面讲的
θ
\theta
θ 的修改方式是一样的，只是导数要用偏导数代替。如果用
w
i
w_i
wi 表示某个权重的话，则采用下式对权重
w
i
w_i
wi 进行更新：
w
i
n
e
w
=
w
i
o
l
d
+
Δ
w
i
w_i^{new} = w_i^{old} + \Delta w_i
winew=wiold+Δwi
Δ
w
i
=
−
η
δ
E
(
w
)
δ
w
i
\Delta w_i = -\eta\frac{\delta E(w)}{\delta w_i}
Δwi=−ηδwiδE(w)
其中 w i o l d w_i^{old} wiold 、 w i n e w w_i^{new} winew 分别表示 w i w_i wi 修改前、修改后的值， δ E ( w ) δ w i \frac{\delta E(w)}{\delta w_i} δwiδE(w) 表示E(w)对 w i w_i wi 的偏导数。所有对 w i w_i wi 的偏导数组成的向量称为梯度，记作 ∇ w E ( w ) \nabla_wE(w) ∇wE(w) ：
∇ w E ( w ) = [ δ E ( w ) δ w 1 , δ E ( w ) δ w 2 , ⋯ , δ E ( w ) δ w n ] \nabla_wE(w) = [ \frac{\delta E(w)}{\delta w_1},\frac{\delta E(w)}{\delta w_2}, \cdots, \frac{\delta E(w)}{\delta w_n} ] ∇wE(w)=[δw1δE(w),δw2δE(w),⋯,δwnδE(w)]
利用随机梯度下降算法训练神经网络，就是求下式的最小值：
E
d
(
w
)
=
∑
k
=
1
M
(
t
k
d
−
o
k
d
)
2
E_d(w) = \sum^{M}_{k=1}{(t_{kd} - o_{kd})^2}
Ed(w)=k=1∑M(tkd−okd)2
其中d为给定的样本，M是输出层神经元的个数， t k d ( k = 1 , 2 , ⋯ , M ) t_{kd}(k=1,2,\cdots, M) tkd(k=1,2,⋯,M) 是样本d希望得到的输出值， o k d ( k = 1 , 2 , ⋯ , M ) o_{kd}(k=1,2,\cdots,M) okd(k=1,2,⋯,M) 是样本d的实际的输出值。
为了叙述方便，对于神经网络中的任意一个神经元j，我们约定如下符号：神经元j的第i个输入为 x j i x_{ji} xji ，相对应的权重为 w j i w_{ji} wji 。这里的神经元j可能是输出层的，也可能是隐含层的。 x j i x_{ji} xji不一定是神经网络的输入，也可能是神经元j所在层的前一层的第i个神经元的输出，直接连接到了神经元j。我们得到随机梯度下降算法如下。
神经网络的所有权值赋值一个比较小的随机值如[-0.05, 0.05]
在满足结束条件前：
更新每个权值：
Δ
w
j
i
=
η
δ
j
x
j
i
\Delta w_ji = \eta \delta_jx_{ji}
Δwji=ηδjxji
w
j
i
=
w
j
i
+
Δ
w
j
i
w_{ji} = w_{ji} + \Delta w_{ji}
wji=wji+Δwji
其中算法第二行的结束条件，可以设定为所有样本中最大的 E d ( w ) E_d(w) Ed(w) 小于某个给定值时，或者所有样本中最大的 | Δ w j i \Delta w_{ji} Δwji| 小于给定值时，算法结束。
公式中的“ k ∈ 后续 ( h ) k\in后续(h) k∈后续(h)”的意思：
此行公式中：
∑
k
∈
后续
(
h
)
δ
k
w
k
h
\sum_{k\in后续(h)}\delta_kw_{kh}
k∈后续(h)∑δkwkh
就是用h的每个后续神经元的误差项 δ k \delta k δk乘以h到神经元k的输入权重，再求和得到。
如果在输出层获得概率值，需要满足概率的两个主要属性，一个是取值在0和1之间，另一个是所有输出累加和为1。为此需要用到一个名为softmax的激活函数。该激活函数与前面介绍过的只作用于一个神经元的激活函数不同，softmax作用在输出层的所有神经元上。
设
n
e
t
1
、
⋯
、
n
e
t
m
net_1、\cdots 、 net_m
net1、⋯、netm 分别为输出层每个神经元未加激活函数的输出，则经过softmax激活函数之后，第i个神经元的输出
o
i
o_i
oi 为：
o
i
=
e
n
e
t
i
e
n
e
t
1
+
e
n
e
t
2
+
⋯
+
e
n
e
t
m
o_i = \frac{e^{net_i}}{e^{net_1}+ e^{net_2}+ \cdots + e^{net_m}}
oi=enet1+enet2+⋯+enetmeneti
很容易验证这样的输出值可以满足概率的两个属性。这样我们就可以将神经网络的输出当作概率使用了，后面我们会看到这种用法非常普遍。
从上面的分析看，交叉熵损失函数更适合于分类问题，直接优化输出的概率值。而误差平方和损失函数比较适合于预测问题。
如果输出是预测某个具有具体大小的数值，就是预测问题。比如说，我们根据今天的天气情况，预测明天的最高气温，就属于预测问题，因为我们预测的是气温的具体数值。
神经网络通过优化损失函数最小进行训练，损失函数有误差的平方和、交叉熵等损失函数。不同的损失函数应用于不同的应用场景，误差的平方和损失函数一般用于求解预测问题，交叉熵损失函数一般用于求解分类问题。
BP算法是神经网络常用的优化方法，来源于梯度下降算法。其特点是给出了一种反向传播计算误差的方法，从输出层开始，一层一层地计算误差，以便实现对权重的更新。
一次只使用一个样本的BP算法称为随机梯度下降算法，而一次使用若干个样本的BP算法称为批量梯度下降算法。批量梯度下降算法是更常用的神经网络优化算法。
BP算法是一个迭代过程，反复使用训练集中的样本对神经网络进行训练。训练集中的全部样本被使用一次称为一个轮次，一般需要多个轮次才能完成神经网络的训练。
