Long Short Term Memory Networks (LSTMs) 最近获得越来越多的关注，与传统的前向神经网络 (feedforward network)不同，LSTM 可以对之前的输入有选择的记忆，从而有助于判断当前的输入， LSTM的这一特点在处理时序相关的输入时，有着很大的优势。
LSTM 由 Recurrent Neural Networks (RNN) 演化而来，所以在介绍LSTM之前，我们先来简单了解一下RNN. 人类的思考不是每时每刻都会从头开始，特别是在阅读的时候，你对当前词语的理解，于你之前阅读的积累有关，换句话说，人类的思考有持续性。
在解决时序相关的输入信号时，传统的神经网络无能为力，因为其直进直出的结构特性使其只能对当前的输入做出处理，而无法利用之前的信息。RNN的提出很好地解决了这个难题，RNN 与传统的神经网络不同，RNN 是一个循环网络，可以很好的存储信息。
上图给出了一个 RNN 的网络结构，A 表示神经网络的一块，
