如何在pytorch中打印Adadelta中的“实际”学习率

In short:

在 pytorch 中使用 adadelta 优化器时，我无法绘制 lr/epoch 曲线，因为optimizer.param_groups[0]['lr']始终返回相同的值。

详细:

Adadelta 可以仅使用一阶信息随时间动态调整，并且 与普通随机梯度下降相比，计算开销最小[1]。

在pytorch中，Adadelta的源代码在这里https://pytorch.org/docs/stable/_modules/torch/optim/adadelta.html#Adadelta https://pytorch.org/docs/stable/_modules/torch/optim/adadelta.html#Adadelta

由于它不需要手动调整学习率，据我所知，我们不必在声明优化器后设置任何计划

self.optimizer = torch.optim.Adadelta(self.model.parameters(), lr=1)

检查学习率的方法是

current_lr = self.optimizer.param_groups[0]['lr']

问题是它总是返回 1（初始 lr）。

谁能告诉我如何获得真实的学习率，以便绘制 lr/epch 曲线？

[1] https://arxiv.org/pdf/1212.5701.pdf https://arxiv.org/pdf/1212.5701.pdf

Check: self.optimizer.state。这是通过 lr 进行优化并在优化过程中使用的。

从文档来看，lr 只是：

lr（float，可选）：在 delta 之前缩放的系数 应用 参数（默认值：1.0）

https://pytorch.org/docs/stable/_modules/torch/optim/adadelta.html https://pytorch.org/docs/stable/_modules/torch/optim/adadelta.html

编辑：您可能会在 self.optimizer.state 值中找到 acc_delta 值，但您需要浏览该字典包含的字典：

dict_with_acc_delta = [self.optimizer.state[i] for i in self.optimizer.state.keys() if "acc_delta" in self.optimizer.state[i].keys()]
acc_deltas = [i["acc_delta"] for i in dict_with_acc_delta]

我有八层，acc_deltas 列表中元素的形状如下

[torch.Size([25088]),
 torch.Size([25088]),
 torch.Size([4096, 25088]),
 torch.Size([4096]),
 torch.Size([1024, 4096]),
 torch.Size([1024]),
 torch.Size([102, 1024]),
 torch.Size([102])]