训练神经网络时资源耗尽 - keras

我有一个包含 65668 个文件的数据集。

我使用 Keras 作为 CNN，这些是我的层：

embedding_layer = Embedding(len(word_index) + 1,
                        EMBEDDING_DIM,
                        weights=[embedding_matrix],
                        input_length=MAX_SEQUENCE_LENGTH,
                        trainable=True)
sequence_input = Input(shape=(MAX_SEQUENCE_LENGTH,), dtype='int32')
embedded_sequences = embedding_layer(sequence_input)
x = Conv1D(128, 5, activation='relu')(embedded_sequences)
x = MaxPooling1D(5)(x)
x = Conv1D(256, 5, activation='relu')(x)
x = MaxPooling1D(5)(x)
x = Flatten()(x)
x = Dense(128, activation='relu')(x)
preds = Dense(len(labels_index), activation='softmax')(x)

第一个嵌入层在 GloVE.6B.100d 上进行训练。 拟合数据：

# fitting the data
model.fit(x_train, y_train, validation_data=(x_val, y_val),
      epochs=20, batch_size=128)

The MAX_SEQUENCE_LENGTH是 500。 我正在 GPU 上进行训练，Nvidia GeForce 940MX， 作为堆栈的一部分，我收到以下错误：

资源耗尽：在使用 shape[15318793,100] 分配张量并通过分配器 GPU_0_bfc 在 /job:localhost/replica:0/task:0/device:GPU:0 上键入 float 时出现 OOM

我尝试将批量大小减少到 16，甚至 8，但仍然遇到相同的错误。 问题可能是什么？

问题出在你的Embedding。它需要分配一个大小的矩阵15318793 * 100 * 4 bytes = 5.7 GB这绝对大于GeForce 940 MX记忆。有几种方法可以解决这个问题：

1. 减少词汇量/语料库大小：尝试采取例如1M 最常用的单词而不是完整的单词集。这将大大减少嵌入矩阵的大小。

2. 使用发电机代替Embedding: 而不是使用Embedding您可以使用生成器将序列转换为词向量序列。

3. 使用线性变换Embedding而不是重新训练你的嵌入- 正如你提到的，带有标志trainable=False使您的算法正常工作，您可以将其设置为False并添加：

   Dense(new_embedding_size, activation='linear')(embedding)
   

   基于现有的嵌入来训练新的嵌入。

4. 更换设备- 如果你有巨大的RAM内存你可以尝试以下策略：

   with tf.device('/cpu:0'):    
       embedding_layer = Embedding(len(word_index) + 1,
           EMBEDDING_DIM,
           weights=[embedding_matrix],
           input_length=MAX_SEQUENCE_LENGTH,
           trainable=True)
       sequence_input = Input(shape=(MAX_SEQUENCE_LENGTH,), dtype='int32')
       embedded_sequences = embedding_layer(sequence_input)
   

   在本设计中计算Embedding层将使用CPU and RAM。缺点是在之间转移RAM and GPU可能真的很慢。