是否有可能在每个训练步骤中获得目标函数值？

在通常的 TensorFlow 训练循环中，例如

train_op = tf.train.AdamOptimizer().minimize(cross_entropy)

with tf.Session() as sess:
    for i in range(num_steps):
        # ...
        train_op.run(feed_dict = feed_dict)

train_op.run回报None.

但是，有时收集中间结果很有用，例如目标的值或准确性。

添加额外的sess.run调用需要再次进行前向传播，从而增加运行时间：

train_op = tf.train.AdamOptimizer().minimize(cross_entropy)

with tf.Session() as sess:
    for i in range(num_steps):
        # ...
        o, a = sess.run([objective, accuracy], feed_dict = feed_dict)
        train_op.run(feed_dict = feed_dict)

是否可以在 TensorFlow 中一次性完成此操作？

Edit:

人们建议

sess.run([objective, accuracy, train_op], feed_dict = feed_dict)

但结果取决于列表元素的执行顺序：

[objective, accuracy, train_op]

这似乎是未定义的——根据是否使用 CUDA，您会得到不同的结果 https://stackoverflow.com/a/43858891/1937197.

只需添加您train_op到要评估的节点列表。

o, a, _ = sess.run([objective, accuracy, train_op], feed_dict = feed_dict)

关于训练步骤及其在评估中的顺序，我做了以下小实验：

import tensorflow as tf
x = tf.Variable(0, dtype=tf.float32)
loss = tf.nn.l2_loss(x-1)
train_opt = tf.train.GradientDescentOptimizer(1)
train_op = train_opt.minimize(loss)
init_op = tf.global_variables_initializer()

sess = tf.Session()
sess.run(init_op)
x_val, _, loss_val = sess.run([x, train_op, loss])
# returns x_val = 1.0, loss_val = 0.5

情况比我最初想象的还要混乱。似乎已知的是，提取的执行顺序并不取决于它们在列表中各自的位置：x_val and loss_val无论它们在列表中的位置如何，都将相同。

然而，正如 @MaxB 所注意到的，它们的执行顺序并不能得到保证。当上面的代码在GPU上运行时，x_val设置为 0.0，即初始值。然而，当在CPU上运行时，x_val为1.0，即值after更新自train_op.

正如上面的实验所示，这种依赖于配置的行为可能仅限于通过训练操作更新的变量，但不能保证它们来自 tf 的文档。