重置张量流流指标的变量

我有很多流媒体指标（tf.metrics.accuracy and custom http://vict0rsch.github.io/2018/06/06/tensorflow-streaming-multilabel-f1/流媒体micro, macro and weightedF1-分数）。

在训练过程中，我得到了下面的图（不用担心过度拟合）。

发生这种情况是因为要计算我调用的验证集的指标tf.local_variables_initializer重置指标并且仅具有验证集的值。

这意味着 2 个副作用：

1. 图像中的尖峰
2. 在验证之间，即使每 2 个时期进行一次验证，训练指标也会不断聚合

我可以通过使用不同的张量来保存每个度量（train 与 val）来部分解决这种情况。但这并不能解决2.

因此我有2 个问题:

• 根据您的经验，这是您期望看到的行为（还是不？解决方案？）
• 有没有办法让指标流仅在过去n批次？

如果您在训练之间重置指标，则会出现此行为。 如果训练指标是两个不同的操作，则它们不会聚合验证指标。我将举例说明如何保持这些指标不同以及如何仅重置其中一个指标。

玩具示例：

logits = tf.placeholder(tf.int64, [2,3])
labels = tf.Variable([[0, 1, 0], [1, 0, 1]])

#create two different ops
with tf.name_scope('train'):
   train_acc, train_acc_op = tf.metrics.accuracy(labels=tf.argmax(labels, 1), 
                                                 predictions=tf.argmax(logits,1))
with tf.name_scope('valid'):
   valid_acc, valid_acc_op = tf.metrics.accuracy(labels=tf.argmax(labels, 1), 
                                                 predictions=tf.argmax(logits,1))

训练：

#initialize the local variables has it holds the variables used for metrics calculation.
sess.run(tf.local_variables_initializer())
sess.run(tf.global_variables_initializer())

# initial state
print(sess.run(train_acc, {logits:[[0,1,0],[1,0,1]]}))
print(sess.run(valid_acc, {logits:[[0,1,0],[1,0,1]]}))

#0.0
#0.0

初始状态是0.0正如预期的那样。

现在调用训练操作指标：

#training loop
for _ in range(10):
    sess.run(train_acc_op, {logits:[[0,1,0],[1,0,1]]})  
print(sess.run(train_acc, {logits:[[0,1,0],[1,0,1]]}))
# 1.0
print(sess.run(valid_acc, {logits:[[0,1,0],[1,0,1]]}))
# 0.0

仅更新了训练准确率，而有效准确率仍然存在0.0。调用有效的操作：

for _ in range(10):
    sess.run(valid_acc_op, {logits:[[0,1,0],[0,1,0]]}) 
print(sess.run(valid_acc, {logits:[[0,1,0],[1,0,1]]}))
#0.5
print(sess.run(train_acc, {logits:[[0,1,0],[1,0,1]]}))
#1.0

这里，有效精度更新为新值，而训练精度保持不变。

让我们只重置验证操作：

stream_vars_valid = [v for v in tf.local_variables() if 'valid/' in v.name]
sess.run(tf.variables_initializer(stream_vars_valid))

print(sess.run(valid_acc, {logits:[[0,1,0],[1,0,1]]}))
#0.0
print(sess.run(train_acc, {logits:[[0,1,0],[1,0,1]]}))
#1.0

有效精度重置为零，而训练精度保持不变。