当使用 Tensorflows 对象检测 API 训练对象检测 DNN 时，它的可视化平台 Tensorboard 会绘制一个名为regularization_loss_1
这是什么？我知道什么是正则化（使网络善于通过各种方法（例如 dropout）进行泛化），但我不清楚这种显示的损失可能是什么。
Thanks!
TL;DR：这只是正则化函数产生的额外损失。将其添加到网络损失中对两者之和进行优化.
正如您正确指出的那样，正则化方法用于帮助优化方法更好地泛化。
获得此信息的一种方法是添加正则化项到损失函数。该术语是一个通用函数，它修改“全局”损失（如sum of the 网络丢失和正则化损失）以驱动优化算法朝期望的方向发展。
举例来说，无论出于何种原因，我都想鼓励权重尽可能接近零的优化解决方案。那么，一种方法是将网络权重的函数（例如，所有权重绝对值的按比例缩小的总和）添加到网络产生的损失中。自从优化算法最小化全局损失，我的正则化项（当权重远离零时很高）会将优化推向权重接近零的解决方案。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
