梯度消失与梯度爆炸

梯度消失与梯度爆炸

简介梯度消失问题和梯度爆炸问题 xff0c 总的来说可以称为梯度不稳定问题 ReLU激活函数 xff0c 用Batch Normal xff0c 用残差结构解决梯度消失问题正则化来限制梯度爆炸梯度消失梯度消失的原始是反向传播时的链式法

梯度消失与梯度爆炸