随机梯度下降可以与 TensorFlow 一起使用吗？

我设计了一个全连接 MLP，具有 2 个隐藏层和 1 个输出层。 如果我使用批量或小批量梯度下降，我会得到一个很好的学习曲线。

But a straight line while performing Stochastic Gradient Descent (violet)

我做错了什么？

根据我的理解，如果每个训练步骤只提供一个训练/学习示例，我会使用 Tensorflow 进行随机梯度下降，例如：

X = tf.placeholder("float", [None, amountInput],name="Input")
Y = tf.placeholder("float", [None, amountOutput],name="TeachingInput")
...
m, i = sess.run([merged, train_op], feed_dict={X:[input],Y:[label]})

其中输入是 10 分量向量，标签是 20 分量向量。

对于测试，我运行 1000 次迭代，每次迭代包含 50 个准备好的训练/学习示例之一。 我预计 nn 会过度拟合。但正如你所看到的，它没有学习:(

由于神经网络将在在线学习环境中执行，因此小批量或批量梯度下降不是一种选择。

感谢您的任何提示。

批量大小影响有效学习率。

如果您考虑单个参数的更新公式，您会发现它是针对输入批次中的每个元素对该参数计算的各个值进行平均而更新的。

这意味着，如果您正在使用大小为 n 的批量大小，则每个参数的“实际”学习率约为learning_rate/n。

因此，如果您使用大小为 n 的批次训练的模型训练没有问题，这是因为该批次大小的学习率还可以。

如果你使用纯随机梯度下降，你必须降低学习率（通常是 10 的幂）。

因此，举例来说，如果你的学习率是1e-4批量大小为128，尝试使用学习率1e-4 / 128.0看看网络是否学习（它应该学习）。