LSTM的改进在于增加了新的记忆单元与门控机制
LSTM进入了一个新的记忆单元 c t c_t ct，用于进行线性的循环信息传递，同时输出信息给隐藏层的外部状态 h t h_t ht。在每个时刻 t t t， c t c_t ct记录了到当前时刻为止的历史信息。
LSTM引入门控机制来控制信息传递的路径，类似于数字电路中的门，0即关闭，1即开启。
LSTM中的三个门为遗忘门 f t f_t ft，输入门 i t i_t it和输出门 o t o_t ot
下面我们就看看改进的新内容在LSTM的结构中是如何体现的。
如图一所示为LSTM的结构，LSTM网络由一个个的LSTM单元连接而成。
图二描述了图一中各种元素的图标，从左到右分别为，神经网络（ σ 表 示 s i g m o i d \sigma表示sigmoid σ表示sigmoid）、向量元素操作（ × \times ×表示向量元素乘， + + +表示向量加），向量传输的方向、向量连接、向量复制
LSTM 的关键就是记忆单元，水平线在图上方贯穿运行。
记忆单元类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。
在这一步中，遗忘门读取 h t − 1 h_{t-1} ht−1和 x t x_t xt，经由sigmoid，输入一个在0到1之间数值给每个在记忆单元 c t − 1 c_{t-1} ct−1中的数字，1表示完全保留，0表示完全舍弃。
输入门将确定什么样的信息内存放在记忆单元中，这里包含两个部分。
随后更新旧的细胞状态，将 c t − 1 c_{t-1} ct−1更新为 c t c_t ct
首先将旧状态 c t − 1 c_{t-1} ct−1与 f t f_t ft相乘，遗忘掉由 f t f_t ft所确定的需要遗忘的信息，然后加上 i t ∗ c ~ t i_t*\tilde{c}_t it∗c~t，由此得到了新的记忆单元 c t c_t ct
结合输出门 o t o_t ot将内部状态的信息传递给外部状态 h t h_t ht。同样传递给外部状态的信息也是个过滤后的信息，首先sigmoid层确定记忆单元的那些信息被传递出去，然后，把细胞状态通过 tanh层 进行处理（得到[-1,1]的值)并将它和输出门的输出相乘，最终外部状态仅仅会得到输出门确定输出的那部分。
通过LSTM循环单元，整个网络可以建立较长距离的时序依赖关系，以上公式可以简洁地描述为
[ c ~ t o t i t f t ] = [ t a n h σ σ σ ] ( W [ x t h t − 1 ] + b ) \begin{bmatrix} \tilde{c}_t \\ o_t \\ i_t \\ f_t \end{bmatrix} = \begin{bmatrix} tanh \\ \sigma \\ \sigma \\ \sigma \end{bmatrix} \begin{pmatrix} W \begin{bmatrix} x_t \\ h_{t-1} \end{bmatrix} +b \end{pmatrix} ⎣⎢⎢⎡c~totitft⎦⎥⎥⎤=⎣⎢⎢⎡tanhσσσ⎦⎥⎥⎤(W[xtht−1]+b)
c t = f t ⊙ c t − 1 + i t ⊙ c ~ t c_t=f_t \odot c_{t-1}+i_t \odot \tilde{c}_t ct=ft⊙ct−1+it⊙c~t
h t = o t ⊙ t a n h ( c t ) h_t=o_t \odot tanh(c_t) ht=ot⊙tanh(ct)
下面通过手写LSTM单元加深对LSTM网络的理解
class LSTMCell(nn.Module):
def __init__(self, input_size, hidden_size, cell_size, output_size):
super().__init__()
self.hidden_size = hidden_size # 隐含状态h的大小，也即LSTM单元隐含层神经元数量
self.cell_size = cell_size # 记忆单元c的大小
# 门
self.gate = nn.Linear(input_size+hidden_size, cell_size)
self.output = nn.Linear(hidden_size, output_size)
self.sigmoid = nn.Sigmoid()
self.tanh = nn.Tanh()
self.softmax = nn.LogSoftmax(dim=1)
def forward(self, input, hidden, cell):
# 连接输入x与h
combined = torch.cat((input, hidden), 1)
# 遗忘门
f_gate = self.sigmoid(self.gate(combined))
# 输入门
i_gate = self.sigmoid(self.gate(combined))
z_state = self.tanh(self.gate(combined))
# 输出门
o_gate = self.sigmoid(self.gate(combined))
# 更新记忆单元
cell = torch.add(torch.mul(cell, f_gate), torch.mul(z_state, i_gate))
# 更新隐藏状态h
hidden = torch.mul(self.tanh(cell), o_gate)
output = self.output(hidden)
output = self.softmax(output)
return output, hidden, cell
def initHidden(self):
return torch.zeros(1, self.hidden_size)
def initCell(self):
return torch.zeros(1, self.cell_size)
CLASS torch.nn.LSTM(*args, **kwargs)
> 0, will use LSTM with projections of corresponding size. Default: 0其中比较重要的参数就是hidden_size与num_layers，hidden_size所代表的就是LSTM单元中神经元的个数。从知乎截来的一张图，通过下面这张图我们可以看出num_layers所代表的含义，就是depth的堆叠，也就是有几层的隐含层。可以看到output是最后一层layer的hidden输出的组合
input, (h_0, c_0)
output, (h_n, c_n)
h与c维度中的num_direction，如果是单向循环网络，则num_directions=1，双向则num_directions=2
https://blog.csdn.net/qq_40728805/article/details/103959254
https://zhuanlan.zhihu.com/p/79064602
https://www.jianshu.com/p/9dc9f41f0b29