您能解释一下具有 BatchNormalization 的神经网络中的 Keras get_weights() 函数吗？

当我在 Keras 中运行神经网络（没有 BatchNormalization）时，我了解 get_weights() 函数如何提供神经网络的权重和偏差。然而，使用 BatchNorm 它会产生 4 个额外参数，我假设 Gamma、Beta、Mean 和 Std。

当我保存这些值时，我尝试手动复制一个简单的神经网络，但无法让它们产生正确的输出。有谁知道这些价值观是如何运作的？

无批次归一化

具有批量归一化

我将举一个例子来解释简单多层感知器（MLP）和带有批量归一化（BN）的MLP的情况下的get_weights（）。

示例：假设我们正在处理 MNIST 数据集，并使用 2 层 MLP 架构（即 2 个隐藏层）。隐藏层 1 中的神经元数量为 392，隐藏层 2 中的神经元数量为 196。因此，我们的 MLP 的最终架构将为 784 x 512 x 196 x 10

这里784是输入图像维度，10是输出层维度

Case1：没有批量归一化的 MLP => 让我的模型名称是模型_relu使用 ReLU 激活函数。现在经过训练模型_relu，我正在使用 get_weights()，这将返回一个大小为 6 的列表，如下面的屏幕截图所示。

get_weights() 使用简单的 MLP 且没有 Batch Norm列表值如下：

• (784, 392)：隐藏层 1 的权重

• (392,)：与隐藏层 1 的权重相关的偏差

• (392, 196)：隐藏层 2 的权重

• (196,)：与隐藏层2的权重相关的偏差

• (196, 10)：输出层的权重

• (10,): 与输出层权重相关的偏差

Case2: MLP with Batch Normalization => 让我的模型名称是模型批次它还使用 ReLU 激活函数和 Batch Normalization。现在经过训练模型批次我正在使用 get_weights()，这将返回一个大小为 14 的列表，如下面的屏幕截图所示。

get_weights() 与批量归一化列表值如下：

• (784, 392)：隐藏层 1 的权重
• (392,)：与隐藏层 1 的权重相关的偏差

• (392,) (392,) (392,) (392,)：这四个参数是gamma、beta、mean和std。大小为 392 的 dev 值每个与隐藏层 1 的批量归一化相关联。

• (392, 196)：隐藏层2的权重

• (196,)：与隐藏层2的权重相关的偏差

• (196,) (196,) (196,) (196,)：这四个参数是gamma、beta、runningmean和std。 dev 大小为 196，每个与隐藏层 2 的批量归一化相关。

• (196, 10)：输出层的权重

• (10,): 与输出层权重相关的偏差

因此，在情况 2 中，如果你想获取隐藏层 1、隐藏层 2 和输出层的权重，Python 代码可以是这样的：

wrights = model_batch.get_weights()      
hidden_layer1_wt = wrights[0].flatten().reshape(-1,1)     
hidden_layer2_wt = wrights[6].flatten().reshape(-1,1)     
output_layer_wt = wrights[12].flatten().reshape(-1,1)

希望这可以帮助！

参考：keras-BatchNormalization