如何在 Keras 中故意过度拟合卷积神经网络以确保模型正常工作?

2024-03-08

我正在尝试诊断训练模型时导致精度低的原因。此时,我只想能够获得高训练精度(我可以稍后担心测试精度/过度拟合问题)。如何调整模型以提高训练准确性?我想这样做是为了确保我在预处理步骤(洗牌、分割、标准化等)中没有犯任何错误。

#PARAMS
dropout_prob = 0.2
activation_function = 'relu'
loss_function = 'categorical_crossentropy'
verbose_level = 1
convolutional_batches = 32
convolutional_epochs = 5
inp_shape = X_train.shape[1:]
num_classes = 3


def train_convolutional_neural():
    y_train_cat = np_utils.to_categorical(y_train, 3) 
    y_test_cat = np_utils.to_categorical(y_test, 3)

    model = Sequential()
    model.add(Conv2D(filters=16, kernel_size=(3, 3), input_shape=inp_shape))
    model.add(Conv2D(filters=32, kernel_size=(3, 3)))
    model.add(MaxPooling2D(pool_size = (2,2)))
    model.add(Dropout(rate=dropout_prob))
    model.add(Flatten())
    model.add(Dense(64,activation=activation_function))
    model.add(Dense(num_classes,activation='softmax'))
    model.summary()
    model.compile(loss=loss_function, optimizer="adam", metrics=['accuracy'])
    history = model.fit(X_train, y_train_cat, batch_size=convolutional_batches, epochs = convolutional_epochs, verbose = verbose_level, validation_data=(X_test, y_test_cat))
    model.save('./models/convolutional_model.h5')

您需要删除 Dropout 层。这是一个针对故意过度拟合的小清单:

  • 删除任何正则化(Dropout、L1 和 L2 正则化)
  • 确保设置较慢的学习速率(Adam 是自适应的,所以在你的情况下没问题)
  • 您可能不想打乱训练样本(例如,所有前 100 个样本都是 A 类,接下来的 100 个样本是 B 类,最后 100 个样本是 C 类)。Update: 正如所指出的彼得苏黎世在下面的答案中,应谨慎考虑这一点,因为它可能根本没有任何训练效果。

现在,如果您很容易过度拟合模型,那么这是一个好兆头strong模型,能够表示数据。否则,您可能会考虑更深/更广泛的模型,或者您应该仔细查看数据并提出问题:“真的有任何模式吗?这是可以训练的吗?”。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何在 Keras 中故意过度拟合卷积神经网络以确保模型正常工作? 的相关文章

随机推荐