pytorch通过易失性变量反向传播错误

我试图通过多次向后传递迭代来运行它并在每个步骤更新输入，从而最小化相对于某个目标的一些输入。第一遍运行成功，但在第二遍时出现以下错误： RuntimeError: element 0 of variables tuple is volatile

这段代码片段演示了这个问题

import torch
from torch.autograd import Variable
import torch.nn as nn

inp = Variable(torch.Tensor([1]), requires_grad=True)
target = Variable(torch.Tensor([3]))

loss_fn = nn.MSELoss()

for i in range(2):
    loss = loss_fn(inp, target)
    loss.backward()
    gradient = inp.grad
    inp = inp - inp.grad * 0.01

当我检查的值inp，在最后一行重新分配之前，inp.volatile => False and inp.requires_grad => True但在重新分配后，这些切换到True and False， 分别。为什么作为一个易失性变量会阻止第二次反向传播运行？

您必须在每次更新之前将梯度归零，如下所示：

inp.grad.data.zero_()

但在你的代码中，每次更新渐变时，你都会创建另一个渐变Variable对象，因此您必须像这样更新整个历史记录：

import torch
from torch.autograd import Variable
import torch.nn as nn

inp_hist = []
inp = Variable(torch.Tensor([1]), requires_grad=True)
target = Variable(torch.Tensor([3]))

loss_fn = nn.MSELoss()

for i in range(2):
    loss = loss_fn(inp, target)
    loss.backward()
    gradient = inp.grad
    inp_hist.append(inp)
    inp = inp - inp.grad * 0.01
    for inp in inp_hist:
        inp.grad.data.zero_()

但是这样你将计算你在历史记录中创建的所有先前输入的梯度（这很糟糕，这是浪费一切），正确的实现如下所示：

import torch
from torch.autograd import Variable
import torch.nn as nn
inp = Variable(torch.Tensor([1]), requires_grad=True)
target = Variable(torch.Tensor([3]))
loss_fn = nn.MSELoss()
for i in range(2):
    loss = loss_fn(inp, target)
    loss.backward()
    gradient = inp.grad
    inp.data = inp.data - inp.grad.data * 0.01
    inp.grad.data.zero_()