使用两个图像的平方差作为张量流中的损失函数

我正在尝试使用两个图像之间的 SSD 作为我的网络的损失函数。

# h_fc2 is my output layer, y_ is my label image.
ssd = tf.reduce_sum(tf.square(y_ - h_fc2))

train_step = tf.train.GradientDescentOptimizer(0.01).minimize(ssd)

问题是，权重随后发散，我得到了错误

 ReluGrad input is not finite. : Tensor had Inf values

为什么？我确实尝试了其他一些东西，例如按图像大小标准化 SSD（不起作用）或将输出值裁剪为 1（不再崩溃，但我仍然需要评估这一点）：

ssd_min_1 = tf.reduce_sum(tf.square(y_ - tf.minimum(h_fc2, 1)))
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(ssd_min_1)

我的观察是否符合预期？

编辑： @mdaoust 的建议被证明是正确的。要点是按批量大小进行标准化。使用此代码可以独立于批量大小来完成此操作

squared_diff_image = tf.square(label_image - output_img)
# Sum over all dimensions except the first (the batch-dimension).
ssd_images = tf.reduce_sum(squared_diff_image, [1, 2, 3])
# Take mean ssd over batch.
error_images = tf.reduce_mean(ssd_images)

通过此更改，只需稍微降低学习率（至 0.0001）。

有很多方法可以得到非有限的结果。

但是，如果学习率“太高”，优化器，尤其是梯度下降这样的简单优化器，可能会出现偏差。

您是否尝试过将学习率简单地除以 10/100/1000？或者通过标准化pixels*batch_size获得每个像素的平均误差？

或者其中之一更高级的优化器 http://tensorflow.org/api_docs/python/train.md#AUTOGENERATED-processing-gradients-before-applying-them.？例如tf.train.AdamOptimizer()使用默认选项。