我遇到了一个奇怪的问题,我一直在尝试调试,但运气不佳。我的模型开始正确训练,批次损失持续减少(从最初的约 6000 到 20 个时期后的约 120)。然而,当我暂停训练并稍后通过从检查点恢复模型来恢复训练时,批次损失似乎比前一个批次损失(暂停之前)意外激增,并从较高的损失点开始恢复下降。我担心的是,当我恢复模型进行评估时,我可能没有使用我认为的经过训练的模型。
与 Tensorflow 教程相比,我已经多次梳理了我的代码。我尝试确保使用教程建议的方法进行保存和恢复。这是代码快照:https://github.com/KaranKash/DigitSpeak/tree/b7dad3128c88061ee374ae127579ec25cc7f5286 https://github.com/KaranKash/DigitSpeak/tree/b7dad3128c88061ee374ae127579ec25cc7f5286- train.py 文件包含保存和恢复步骤、图形设置和训练过程;而 model.py 创建网络层并计算损失。
这是我的打印语句中的一个示例 - 请注意,当从 epoch 7 的检查点恢复训练时,批次损失急剧上升:
Epoch 6. Batch 31/38. Loss 171.28
Epoch 6. Batch 32/38. Loss 167.02
Epoch 6. Batch 33/38. Loss 173.29
Epoch 6. Batch 34/38. Loss 159.76
Epoch 6. Batch 35/38. Loss 164.17
Epoch 6. Batch 36/38. Loss 161.57
Epoch 6. Batch 37/38. Loss 165.40
Saving to /Users/user/DigitSpeak/cnn/model/model.ckpt
Epoch 7. Batch 0/38. Loss 169.99
Epoch 7. Batch 1/38. Loss 178.42
KeyboardInterrupt
dhcp-18-189-118-233:cnn user$ python train.py
Starting loss calculation...
Found in-progress model. Will resume from there.
Epoch 7. Batch 0/38. Loss 325.97
Epoch 7. Batch 1/38. Loss 312.10
Epoch 7. Batch 2/38. Loss 295.61
Epoch 7. Batch 3/38. Loss 306.96
Epoch 7. Batch 4/38. Loss 290.58
Epoch 7. Batch 5/38. Loss 275.72
Epoch 7. Batch 6/38. Loss 251.12
我已经打印了inspect_checkpoint.py 脚本的结果。我还尝试了其他损失函数(Adam 和 GradientDescentOptimizer),并注意到恢复训练后峰值损失有相同的行为。
dhcp-18-189-118-233:cnn user$ python inspect_checkpoint.py
Optimizer/Variable (DT_INT32) []
conv1-layer/bias (DT_FLOAT) [64]
conv1-layer/bias/Momentum (DT_FLOAT) [64]
conv1-layer/weights (DT_FLOAT) [5,23,1,64]
conv1-layer/weights/Momentum (DT_FLOAT) [5,23,1,64]
conv2-layer/bias (DT_FLOAT) [512]
conv2-layer/bias/Momentum (DT_FLOAT) [512]
conv2-layer/weights (DT_FLOAT) [5,1,64,512]
conv2-layer/weights/Momentum (DT_FLOAT) [5,1,64,512]