我只是想测试神经网络近似乘法函数（回归任务）的效果如何。
我正在使用 Azure 机器学习工作室。我有 6500 个样本，1 个隐藏层
（我已经测试了每个隐藏层 5 /30 /100 个神经元），没有标准化。以及默认参数学习率 - 0.005，学习迭代次数 - 200，初始学习权重 - 0.1，
动量 - 0 [描述] https://msdn.microsoft.com/en-us/library/azure/dn906030.aspx。我的准确率非常差，接近于 0。同时，提升决策森林回归显示出非常好的近似值。
我究竟做错了什么？这个任务对于 NN 来说应该很容易。
大乘法函数梯度迫使网络几乎立即进入某种可怕的状态，其中所有隐藏节点的梯度为零。
我们可以使用两种方法：
1) 除以常数。我们只是在学习之前将所有内容相除，然后相乘。
2）进行对数归一化。它将乘法变成加法：
m = x*y => ln(m) = ln(x) + ln(y).
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
