回顾一下deep learning的历史：
也可以写成矩阵形式：
s
i
g
m
o
i
d
sigmoid
sigmoid
（
（
（权重w【黄色】
×
\times
× 输入【蓝色】
+
+
+ 偏移量b【绿色】
）
）
）
=
=
= 输出
如图，
C
n
C^n
Cn 是一个表示
y
n
y^n
yn 和
y
^
n
\hat{y}^n
y^n 之间距离的函数。
L
(
θ
)
L(\theta)
L(θ) （total loss）是总的
C
n
C^n
Cn 之和。
取一个Neuron来看
如图，
x
1
,
x
2
x_1,x_2
x1,x2是input，
w
1
,
w
2
w_1, w_2
w1,w2是weight,
b
b
b是bias,
z
=
x
1
w
1
+
x
2
w
2
+
b
z=x_1w_1+x_2w_2+b
z=x1w1+x2w2+b是激活前的值，
a
a
a是经过途中蓝色神经元激活后（比如sigmoid）的值。
我们要计算的目标是
∂
l
∂
w
\frac{\partial l}{\partial w}
∂w∂l, 由链式法则
∂
l
∂
w
=
∂
z
∂
w
×
∂
l
∂
z
\frac{\partial l}{\partial w}=\frac{\partial z}{\partial w}\times \frac{\partial l}{\partial z}
∂w∂l=∂w∂z×∂z∂l.
∂ l ∂ z \frac{\partial l}{\partial z} ∂z∂l ( Backward pass的部分 )
把 ∂ z ∂ w \frac{\partial z}{\partial w} ∂w∂z 和 ∂ l ∂ z \frac{\partial l}{\partial z} ∂z∂l相乘，我们就可以得到 ∂ l ∂ w \frac{\partial l}{\partial w} ∂w∂l, 即 ∂ l ∂ w = ∂ z ∂ w × ∂ l ∂ z \frac{\partial l}{\partial w}=\frac{\partial z}{\partial w}\times \frac{\partial l}{\partial z} ∂w∂l=∂w∂z×∂z∂l.
所有我们就可以得到神经网络中所有的参数，然后用梯度下降就可以不断更新，得到损失最小的函数。
我成功的把自己也绕晕了，用一个简单的例子再梳理一下后向传播。
如图，从输出层往前看，
又因为 z 5 = w 11 ′ a 3 + w 21 ′ a 4 , z 6 = w 12 ′ a 3 + w 22 ′ a 4 z_5 = w_{11}'a_3+w_{21}'a_4, z_6 = w_{12}'a_3+w_{22}'a_4 z5=w11′a3+w21′a4,z6=w12′a3+w22′a4，即 a 3 a_3 a3与 z 5 , z 6 z_5, z_6 z5,z6都有关, a 3 a_3 a3是 z 5 , z 6 z_5, z_6 z5,z6的函数, 用 a 3 ( z 5 , z 6 ) a_3(z_5, z_6) a3(z5,z6)表示.
所以，继续链式法则： ∂ l ∂ a 3 = ∂ l ∂ z 5 × ∂ z 5 ∂ a 3 + ∂ l ∂ z 6 × ∂ z 6 ∂ a 3 \frac{\partial l}{\partial a_3}=\frac{\partial l}{\partial z_5}\times\frac{\partial z_5}{\partial a_3}+\frac{\partial l}{\partial z_6}\times\frac{\partial z_6}{\partial a_3} ∂a3∂l=∂z5∂l×∂a3∂z5+∂z6∂l×∂a3∂z6，由前面计算， ∂ l ∂ z 5 , ∂ l ∂ z 6 \frac{\partial l}{\partial z_5},\frac{\partial l}{\partial z_6} ∂z5∂l,∂z6∂l是已知量; ∂ z 5 ∂ a 3 = w 11 ′ , ∂ z 6 ∂ a 3 = w 12 ′ \frac{\partial z_5}{\partial a_3}=w_{11}', \frac{\partial z_6}{\partial a_3}=w_{12}' ∂a3∂z5=w11′,∂a3∂z6=w12′
整理得
∂
l
∂
z
3
=
∂
l
∂
a
3
×
∂
a
3
∂
z
3
=
σ
′
(
z
3
)
∂
l
∂
a
3
=
σ
′
(
z
3
)
(
∂
l
∂
z
5
w
11
′
+
∂
l
∂
z
6
w
12
′
)
\frac{\partial l}{\partial z_3}=\frac{\partial l}{\partial a_3}\times\frac{\partial a_3}{\partial z_3} = \sigma'(z_3)\frac{\partial l}{\partial a_3}=\sigma'(z_3)(\frac{\partial l}{\partial z_5}w_{11}'+\frac{\partial l}{\partial z_6}w_{12}')
∂z3∂l=∂a3∂l×∂z3∂a3=σ′(z3)∂a3∂l=σ′(z3)(∂z5∂lw11′+∂z6∂lw12′)
同理
∂
l
∂
z
4
=
∂
l
∂
a
4
×
∂
a
4
∂
z
4
=
σ
′
(
z
4
)
∂
l
∂
a
4
=
σ
′
(
z
4
)
(
∂
l
∂
z
5
w
21
′
+
∂
l
∂
z
6
w
22
′
)
\frac{\partial l}{\partial z_4}=\frac{\partial l}{\partial a_4}\times\frac{\partial a_4}{\partial z_4} = \sigma'(z_4)\frac{\partial l}{\partial a_4}=\sigma'(z_4)(\frac{\partial l}{\partial z_5}w_{21}'+\frac{\partial l}{\partial z_6}w_{22}')
∂z4∂l=∂a4∂l×∂z4∂a4=σ′(z4)∂a4∂l=σ′(z4)(∂z5∂lw21′+∂z6∂lw22′)
……
后面再继续套娃，即可第一层算出
∂
l
∂
z
\frac{\partial l}{\partial z}
∂z∂l
恩，滤了一遍，我把自己捋清楚了，但我估计看的人还是很晕。其实懂了之后过程很简单，就是有些繁琐，手写很快就捋完了，附一个手写版本。
本文笔记摘自Datawhale组队学习，仅仅结合自己的理解略加修改。
