使用Torch nngraph实现LSTM

什么是RNN

RNN：多层反馈RNN（Recurrent neural Network、循环神经网络）神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。——百度百科

下面我们看看抽象出来的RNN的公式：
ht=θϕ(ht−1)+θxxt
yt=θyϕ(ht)
可以发现每次RNN都要使用上一次中间层的输出 ht

传统RNN的缺点—梯度消失问题(Vanishing gradient problem)

我们定义loss function为 E ，那么梯度公式如下：
∂E∂θ=∑St=1∂Et∂θ
∂Et∂θ=∑tk=1∂Et∂yt∂yt∂ht∂ht∂hk∂