我发现层归一化是比批量归一化更现代的归一化方法，并且在 Tensorflow 中编码非常简单。
但我认为层归一化是为 RNN 设计的，批量归一化是为 CNN 设计的。
我可以使用 CNN 的层归一化来处理图像分类任务吗？
选择批量归一化或层的标准是什么？
您可以使用Layer normalisation在 CNN 中，但我不认为它比Batch Norm。他们的正常化方式不同。Layer norm通过收集层内每个单元的统计数据来标准化批次中单个层的所有激活，同时batch norm对每个激活的整个批次进行标准化，其中收集批次中每个单元的统计信息。
Batch norm通常优先于layer norm因为它试图将每个激活标准化为单位高斯分布，而layer norm尝试将所有激活的“平均值”设为单位高斯。但如果批量大小太小而无法收集合理的统计数据，那么layer norm是优选的。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
