假设我有一个整数序列：
0,1,2, ..
并希望根据最后 3 个整数来预测下一个整数，例如：
[0,1,2]->5, [3,4,5]->6, etc
假设我像这样设置模型：
batch_size=1
time_steps=3
model = Sequential()
model.add(LSTM(4, batch_input_shape=(batch_size, time_steps, 1), stateful=True))
model.add(Dense(1))
据我了解，模型具有以下结构（请原谅粗略的绘图）：
第一个问题：我的理解正确吗？
注意我已经画了之前的状态C_{t-1}, h_{t-1}输入图片，因为指定时会暴露该图片stateful=True。在这个简单的“下一个整数预测”问题中，通过提供这些额外信息（只要先前的状态是由前 3 个整数产生的），性能应该会得到提高。
这引出了我的主要问题：这似乎是标准做法（例如参见这个博客文章和时间序列生成器keras 预处理实用程序）的目的是在训练期间向模型提供一组交错的输入。
例如：
batch0: [[0, 1, 2]]
batch1: [[1, 2, 3]]
batch2: [[2, 3, 4]]
etc
这让我很困惑，因为这似乎需要第一个 Lstm 单元的输出（对应于第一个时间步）。看这个图：
从张量流docs:
stateful：布尔值（默认 False）。如果为真，则每个的最后状态 批次中索引 i 处的样本将用作初始状态 下一批中索引 i 的样本。
看来这种“内部”状态不可用，所有可用的都是最终状态。看这个图：
因此，如果我的理解是正确的（显然不是），那么我们在使用时是否应该向模型提供非重叠的样本窗口stateful=True? E.g.:
batch0: [[0, 1, 2]]
batch1: [[3, 4, 5]]
batch2: [[6, 7, 8]]
etc
答案是：取决于手头的问题。对于您的一步预测的情况 - 是的，您可以，但您不必这样做。但无论你是否这样做都会极大地影响学习。
批次与样本机制（“参见 AI”= 参见“附加信息”部分）
所有模型都将样本视为独立的例子;一批 32 个样品就像一次喂 1 个样品，32 次（有差异 - 参见 AI）。从模型的角度来看，数据被分为批次维度，batch_shape[0]，以及特征尺寸，batch_shape[1:]- 两人“别说话”。两者之间的唯一关系是通过梯度（参见 AI）。
重叠批次与无重叠批次
也许理解它的最好方法是信息-基于。我将从时间序列二元分类开始，然后将其与预测联系起来：假设您有 10 分钟的 EEG 记录，每个记录 240000 个时间步长。任务：癫痫发作还是非癫痫发作？
取10个样品，成型(240000, 1)。怎么喂？
(10, 54000, 1)，包括所有样本，切片为sample[0:54000]; sample[54000:108000] ...(10, 54000, 1)，包括所有样本，切片为sample[0:54000]; sample[1:54001] ...以上两者你选哪一个？如果是 (2)，那么您的神经网络永远不会将这 10 个样本的癫痫发作与非癫痫发作混淆。但它对任何其他样本也一无所知。即，它将严重过度拟合，因为信息它看到每次迭代几乎没有不同（1/54000 = 0.0019%） - 所以你基本上是在给它喂食同一批连续几次。现在假设（3）：
(10, 54000, 1)，包括所有样本，切片为sample[0:54000]; sample[24000:81000] ...合理很多；现在我们的窗口有 50% 的重叠，而不是 99.998%。
预测：重叠不好？
如果您正在进行一步预测，信息格局现在会发生变化：
这极大地改变了你的损失函数，以及最小化它的“良好实践”：
我应该怎么办？
首先，请确保您理解整篇文章，因为这里没有什么是真正的“可选”。然后，这是关于重叠与不重叠的关键，每批次:
你的目标：平衡两者； 1相对于2的主要优势是：
我应该在预测中使用（2）吗？
LSTM 有状态：实际上可能对您的问题完全无用。
当 LSTM 无法一次处理整个序列，因此它被“分割”时，或者当需要从反向传播获得不同的梯度时，则使用有状态。对于前者，其想法是 - LSTM 在评估后者时考虑前一个序列：
t0=seq[0:50]; t1=seq[50:100]说得通;t0逻辑上导致t1
seq[0:50] --> seq[1:51]没有意义;t1并不因果地源自t0
换句话说：不要在不同批次的状态中重叠。同一批次是可以的，同样，独立性 - 样品之间没有“状态”。
何时使用有状态：当 LSTM 在评估下一批时受益于考虑上一批时。这can包括一步预测，但前提是您无法一次提供整个序列：
t0, t1如上面的第一个项目符号所示。lr = 0.LSTM 何时以及如何在有状态中“传递状态”？
stateful=True requires你指定batch_shape代替input_shape- 因为，Keras 构建batch_size编译时 LSTM 的不同状态根据上述，您cannot做这个：
# sampleNM = sample N at timestep(s) M
batch1 = [sample10, sample20, sample30, sample40]
batch2 = [sample21, sample41, sample11, sample31]
这意味着21因果关系如下10- 并且会破坏训练。相反，做：
batch1 = [sample10, sample20, sample30, sample40]
batch2 = [sample11, sample21, sample31, sample41]
批次与样品：附加信息
“批次”是一组样本 - 1 或更大（假设此答案始终为后者） 。迭代数据的三种方法：批量梯度下降（一次整个数据集）、随机 GD（一次一个样本）和小批量 GD（中间）。 （然而，在实践中，我们也将最后一个 SGD 称为 SGD，并且仅与 BGD 进行区分 - 对于此答案假设如此。）差异：
奖金图:
