我一直听说 XOR 问题不能通过单层感知器(不使用隐藏层)来解决,因为它不是线性可分的。我知道没有线性函数可以区分类别。
但是,如果我们使用像 sin() 或 cos() 这样的非单调激活函数,情况仍然如此吗?我想这些类型的函数可能能够将它们分开。
Yes,具有非单调激活函数的单层神经网络can解决异或问题。更具体地说,周期函数会多次切割 XY 平面。甚至一个Abs http://hsmazumdar.net/single_layer_neural_net.htm or 激活函数会将其削减两倍。
自己尝试一下:W1 = W2 = 100,Wb = -100,激活 = exp(-(Wx)^2)
- exp(-(100 * 0 + 100 * 0 - 100 * 1)^2) = ~0
- exp(-(100 * 0 + 100 * 1 - 100 * 1)^2) = 1
- exp(-(100 * 1 + 100 * 0 - 100 * 1)^2) = 1
- exp(-(100 * 1 + 100 * 1 - 100 * 1)^2) = ~0
或者使用abs激活:W1 = -1,W2 = 1,Wb = 0(是的,即使没有偏差也可以解决它)
- 绝对值(-1 * 0 + 1 * 0) = 0
- 绝对值(-1 * 0 + 1 * 1) = 1
- 绝对值(-1 * 1 + 1 * 0) = 1
- 绝对值(-1 * 1 + 1 * 1) = 0
或使用正弦:W1 = W2 = -PI/2, Wb = -PI
- sin(-PI/2 * 0 - PI/2 * 0 - PI * 1) = 0
- sin(-PI/2 * 0 - PI/2 * 1 - PI * 1) = 1
- sin(-PI/2 * 1 - PI/2 * 0 - PI * 1) = 1
- sin(-PI/2 * 1 - PI/2 * 1 - PI * 1) = 0
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)