我现在正在学习LSM(液态状态机),我试图了解它们到底是如何用于学习的。
我对在网上读到的内容感到非常困惑。我将写出到目前为止我所理解的内容,但这可能是不正确的,所以如果您能纠正我并解释什么是正确的,我会很高兴:
-
LSM 根本没有经过训练:它们只是用许多“时间神经元”(例如 Leaky Integrate & Fire 神经元)进行初始化,而它们的阈值是随机绘制的,它们之间的连接也是如此(即神经元不必具有与其他每个神经元的公共边缘)。
-
如果我们想“学习”x输入后的时间单位I, 发生Y发生了,那么我们需要“等待”x使用 LIF“探测器”测量时间单位,并查看哪些神经元在该特定时刻放电。然后,我们可以训练一个分类器(例如前馈网络),这个特定的发射神经元子集意味着发生Y发生了。
-
我们可能在“液体”中使用许多“时间神经元”,因此您可能有许多可能不同的放电神经元子集,因此在我们等待之后,特定的放电神经元子集几乎是唯一的x输入我们的输入后的时间单位I
我不知道我上面写的到底是不是真的。我希望得到有关该主题的解释。
从你的问题来看,你的思路似乎是正确的。无论如何,液体状态机和回声状态机是涉及计算神经科学和物理学的复杂主题,涉及混沌、动态动作系统、反馈系统和机器学习等主题。所以,如果你觉得很难理解它,也没关系。
回答您的问题:
- 大多数液态状态机的实现都使用未经训练的神经元库。人们已经尝试过训练水库,但尚未取得巨大成功,无法证明实现这一目标所需的计算能力是合理的。
(看:用于循环神经网络训练的储层计算方法 http://www.sciencedirect.com/science/article/pii/S1574013709000173) or (并行感知器的 p-Delta 学习规则 http://www.igi.tugraz.at/psfiles/pdelta-journal.pdf )
我的观点是,如果您想在模式的可分离性或泛化方面使用液体作为分类器,您可以从神经元之间的连接方式中获得更多信息(请参阅Hazan, H. 和 Manevitz, L.,液态机的拓扑约束和鲁棒性,专家系统与应用,第 39 卷,第 2 期,第 1597-1606 页,2012 年 2 月 http://dx.doi.org/10.1016/j.eswa.2011.06.052.) or (液态状态机使用哪种模型? http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5178822)
生物学方法(我认为最有趣的一种)(神经元可以通过尖峰时间依赖性可塑性学到什么? http://www.mitpressjournals.org/doi/abs/10.1162/0899766054796888 )
- 你是对的,你至少需要等到你完成输入,否则你就有检测到你的输入的风险,而不是检测到你的输入应有的结果所发生的活动。
- 是的,你可以想象你的液体复杂性是 SVM 中的一个内核,它尝试将数据点投影到某个超空间,并将液体中的检测器作为尝试在数据集中的类之间进行分离的部分。根据经验,神经元的数量及其相互连接的方式决定了液体的复杂程度。
关于 LIF(泄漏集成和火神经元),正如我所见(我可能是错的),两种方法之间的最大区别在于单个单元。在液态状态下,机器使用类似生物的神经元,而在回声状态下,使用更多的模拟单元。因此,就“极短期记忆”而言,液态方法中每个神经元都会记住自己的历史,而在回声状态方法中,每个神经元仅根据当前状态做出反应,因此存储在神经元之间的活动中的记忆单位。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)