Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
逐层贪婪预训练(解决梯度消失的第一个成功方案,但现在除了NLP领域外很少使用)
起因 背景 xff1a 梯度消失 vanishing gradient problem DNN的训练中 xff0c 由于梯度消失 xff0c 即输出层的错误在反向传播的过程中会显著地越来越小 xff0c 所以靠近输入层的层的梯度就接近0 x
NLP
逐层贪婪预训练
解决梯度消失的第一个成功方案
但现在除了
领域外很少使用