如何设置 1dCNN+LSTM 网络（Keras）的输入形状？

我有以下想法要实施：

                       Input -> CNN-> LSTM -> Dense -> Output

输入有 100 个时间步长，每个步长有一个 64 维特征向量

A Conv1D层将在每个时间步提取特征。 CNN 层包含 64 个滤波器，每个滤波器的长度为 16 个抽头。然后，maxpooling 层将提取每个卷积输出的单个最大值，因此每个时间步总共将提取 64 个特征。

那么CNN层的输出将是馈入 LSTM 层有 64 个神经元。递归次数与输入的时间步长相同，即 100 个时间步长。 LSTM层应该返回一个64维输出的序列（序列的长度==时间步数==100，所以应该有100*64=6400个数字）。

input = Input(shape=(100,64), dtype='float', name='mfcc_input')
CNN_out = TimeDistributed(Conv1D(64, 16, activation='relu'))(mfcc_input)
CNN_out = BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True)(CNN_out)
CNN_out = TimeDistributed(MaxPooling1D(pool_size=(64-16+1), strides=None, padding='valid'))(CNN_out)

LSTM_out = LSTM(64,return_sequences=True)(CNN_out)

... (more code) ...

但这行不通。第二行报告“列表索引超出范围“我不明白发生了什么事。

我是 Keras 的新手，所以如果有人能帮助我，我真诚地感激。

这张图解释了CNN应该如何应用于每个时间步 https://i.stack.imgur.com/ublHo.jpg

问题出在你的输入上。你的输入是有形状的(100, 64)其中第一个维度是时间步长。所以忽略这一点，你的输入是有形状的(64) to a Conv1D.

现在，请参考Keras Conv1D 文档 https://keras.io/layers/convolutional/#conv1d，它表明输入应该是 3D 张量(batch_size, steps, input_dim)。忽略batch_size，你的输入应该是一个二维张量(steps, input_dim).

因此，您提供一维张量输入，其中输入的预期大小是二维张量。例如，如果您向Conv1D以单词的形式，那么你的句子中有 64 个单词，假设每个单词都用长度为 50 的向量进行编码，那么你的输入应该是(64, 50).

另外，请确保您向 LSTM 提供正确的输入，如下面的代码所示。

所以，正确的代码应该是

embedding_size = 50  # Set this accordingingly
mfcc_input = Input(shape=(100, 64, embedding_size), dtype='float', name='mfcc_input')
CNN_out = TimeDistributed(Conv1D(64, 16, activation='relu'))(mfcc_input)
CNN_out = BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True)(CNN_out)
CNN_out = TimeDistributed(MaxPooling1D(pool_size=(64-16+1), strides=None, padding='valid'))(CNN_out)

# Directly feeding CNN_out to LSTM will also raise Error, since the 3rd dimension is 1, you need to purge it as
CNN_out = Reshape((int(CNN_out.shape[1]), int(CNN_out.shape[3])))(CNN_out)

LSTM_out = LSTM(64,return_sequences=True)(CNN_out)

... (more code) ...