作者：寒小阳
时间：2016年1月。
出处：http://blog.csdn.net/han_xiaoyang/article/details/50521064
声明：版权所有，转载请联系作者并注明出处
1.训练
在前一节当中我们讨论了神经网络静态的部分：包括神经网络结构、神经元类型、数据部分、损失函数部分等。这个部分我们集中讲讲动态的部分，主要是训练的事情，集中在实际工程实践训练过程中要注意的一些点，如何找到最合适的参数。
1.1 关于梯度检验
之前的博文我们提到过，我们需要比对数值梯度和解析法求得的梯度，实际工程中这个过程非常容易出错，下面提一些小技巧和注意点：
使用中心化公式，这一点我们之前也说过，使用如下的数值梯度计算公式：
d f ( x ) d x = f ( x + h ) − f ( x − h ) 2 h (好的形式) \frac{df(x)}{dx} = \frac{f(x + h) - f(x - h)}{2h} \hspace{0.1in} \text{(好的形式)} dxdf(x)=2hf(x+h)−f(x−h)(好的形式)
而不是
d f ( x ) d x = f ( x + h ) − f ( x ) h (非中心化形式，不要用) \frac{df(x)}{dx} = \frac{f(x + h) - f(x)}{h} \hspace{0.1in} \text{(非中心化形式，不要用)} dxdf(x)=hf(x+h)−f(x)(非中心化形式，不要用)
即使看似上面的形式有着2倍的计算量，但是如果你有兴趣用把公式中的 f ( x + h ) f(x+h) f(x+h)和 f ( x − h ) f(x-h) f(x−h)做泰勒展开的话，你会发现上面公式出错率大概是 O ( h 2 ) O(h^2) O(h2)级别的，而下面公式则是 O ( h ) O(h) O(h)，注意到h是很小的数，因此显然上面的公式要精准得多。
使用相对误差做比较，这是实际工程中需要提到的另外一点，在我们得到数值梯度
