一、LSTM一般最多堆叠多少层
在大规模翻译任务的经验中,简单的堆叠LSTM层最多可以工作4层,很少工作6层,超过8层就很差了。
Redisual connection有助于梯度的反向传播,能够帮助lstm堆叠更多层,实现更深层的训练,但是一般也就是最多到8层。
二、bilstm的前向和后向隐层输出是如何组合的
注意上图只是一层的bilstm,如果是多层的bilstm,则是两个不同方向的多层lstm按照上图拼接在一起
图中这个符号表示拼接concat
参考文献:
1.https://arxiv.org/pdf/1609.08144.pdf
2.bilstm模型结构 - 简书
3.python - Bidirectional LSTM Merge Mode explanation - Stack Overflow
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)