作者： George Seif, Dimitrios Androutsos
期刊： IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)
引用： 10
摘要： 近年来，卷积神经网络在单幅图像的超分辨率任务上表现出最先进的性能。尽管这些提出的网络显示了高质量的重建结果，但使用均方误差（MSE）损失函数进行训练往往会产生过于平滑和模糊的图像。MSE没有考虑图像结构，而这些结构对于实现人类感知的高图像质量往往是很重要的。我们提出了一个新的基于边缘的损失函数来改善图像的超分辨率重构。我们的损失函数直接优化了重建图像的边缘像素，从而驱动训练有素的网络产生高质量的突出边缘，从而使图像更加清晰。大量的定量和定性结果表明，我们提出的损失函数明显优于MSE。
边缘损失
loss edges = ∑ x = 1 W ∑ y = 1 H E i , j ⋅ ( ∣ Y i , j − X i , j ∣ ) W H . \text { loss }_{\text {edges }}=\frac{\sum_{x=1}^W \sum_{y=1}^H E_{i, j} \cdot\left(\left|Y_{i, j}-X_{i, j}\right|\right)}{W H} . loss edges =WH∑x=1W∑y=1HEi,j⋅(∣Yi,j−Xi,j∣).
像素损失
loss pixels = ∑ x = 1 W ∑ y = 1 H ( ∣ Y i , j − X i , j ∣ ) W H \text { loss }_{\text {pixels }}=\frac{\sum_{x=1}^W \sum_{y=1}^H\left(\left|Y_{i, j}-X_{i, j}\right|\right)}{W H} loss pixels =WH∑x=1W∑y=1H(∣Yi,j−Xi,j∣)
总损失
loss total = α ⋅ loss pixels + ( 1 − α ) ⋅ loss edges \operatorname{loss}_{\text {total }}=\alpha \cdot \operatorname{loss}_{\text {pixels }}+(1-\alpha) \cdot \operatorname{loss}_{\text {edges }} losstotal =α⋅losspixels +(1−α)⋅lossedges
边缘损失为计算MAE（L1）前使用Canny边缘检测结果E进行乘积，像素损失为MAE损失，最终以0.3：0.7的比例综合为总损失
（注意：Matalb使用Canny算法输出是0/1的矩阵，opencv输出0/255矩阵）
以VDSR为基础，所有训练设置与其相同，使用Kears（Tensorflow）实现，使用Y通道计算PSNR和SSIM。
我们提出了一个基于边缘的损失函数来解决在SISR中重建突出边缘的挑战。与其他方法相比，我们的方法使用定义明确的边缘作为网络训练的结构指导，以帮助优化边缘重建。实验结果表明，我们的损失函数在数量上和质量上都优于最先进的模型中使用的其他函数。我们的结果可以通过使用地面真实的边缘来进一步改善。
无
