本内容主要介绍实现单图像去模糊的 MSSNet 模型。
论文：MSSNet: Multi-Scale-Stage Network for Single Image Deblurring
代码（官方）：https://github.com/kky7/MSSNet
单图像去模糊旨在从模糊图像（由相机抖动或被拍摄物体运动引起的模糊）中恢复一张清晰的图像。由于图像模糊会严重降低图像质量和其他任务（如物体检测）的性能，过去几十年来，图像去模糊已经被广泛研究。
在深度学习之前，大部分经典的单图像去模糊方法通过交替优化方式来估计模糊核（模糊核描述了图像是如何被模糊的）和潜在的清晰图像。为了高效并准确估计模糊核和潜在清晰图像，这些经典方法广泛采用了从粗到细方案。从粗到细方案：首先在粗尺度估计一个小的模糊核和清晰图像，然后将它们作为下一尺度的初始解。在粗尺度的小尺寸的图像和模糊使得能够快速估计。此外，粗尺度的小模糊尺寸使得能够更准确估计模糊核和潜在图像。因此，从粗到细方案能够快速为下一个尺度提供准确的初始解，并提高去模糊的质量和效率。
深度学习出现后，成功将深度学习应用到了单图像去模糊领域。基于深度学习的单图像去模糊模型可以分为两大类：
同时，使用深度学习网络直接模糊图像恢复得到清晰图像的模型又可以分为两类：
多尺度方法，例如 DeepDeblur、SRN 和 PSS-NSC 等模型。由于从粗到细方案的有效性，这类模型基本都采用从粗到细方案。它们通常采用多尺度神经网络架构，将不同尺度的子网络堆叠在一起，首先估计小尺度的潜在清晰图像，然后使用小尺度的潜在清晰图像作为指导估计大尺度的潜在清晰图像。不管是否估计模糊核，使用从粗到细方案的动机都是一样的，即 由于在粗尺度上图像和模糊尺寸很小，因此可以更有效准确地估计去模糊图像。
单尺度方法，例如 DMPHN、MT-RNN、MPRNet、HINet 等模型。与多尺度的主要区别在于，其只会接收一种尺度的模糊图像作为输入。
单尺度方法的作者们指出以前多尺度方案计算耗时，以及粗尺度的结果对最终去模糊质量的贡献比较低。并且这些单尺度方法在质量和计算耗时上都超越了以前的多尺度方法，使得传统的从粗到细方案看起来似乎过时了。
基于这种情况，作者通过重新审视从粗到细方案，分析了以前从粗到细方法的缺陷，这些缺陷降低了模型性能。然后为了解决这些缺陷，提出了 MSSNet（Multi-Scale-Stage Network，多尺度多阶段网络）。接下来我们一起看看作者是如何一步步提出 MSSNet 网络的。
我们先来了解一下以前从粗到细方法实现单图像去模糊的流程。图 1.1 展示了以前从粗到细方法的网络架构。其中 SRN 在相邻的尺度子网络之间还存在额外的循环连接（这些额外连接可以获得额外的性能增益），在图中没有体现。以前的从粗到细方法基本上采用相同的去模糊流程，详细步骤如下：
通过对这些方法所采用的的网络架构进行分析，作者发现这些网络架构存在如下三个缺陷：
基于前面对以前从粗到细方法的分析，为了解决这些缺陷，作者提出了 MSSNet 网络，一种新的基于深度学习的单图像去模糊方法，它采用了从粗到细方案。图 1.2 展示了 MSSNet 的网络架构。和以前的从粗到细方法一样，MSSNet 由三个尺度组成，从粗到细，分别表示为 S 1 S_1 S1、 S 2 S_2 S2 和 S 3 S_3 S3。MSSNet 会预测一张残差图像 R R R，然后与模糊图像 B B B 相加从而得到一张去模糊图像 L = B + R L = B+R L=B+R。
为了解决前面分析的以前从粗到细方法的缺陷，MSSNet 采用了三种策略：
接下来，我们详细了解一下每种策略的具体实现。
为了反映模糊尺度，MSSNet 的更细尺度的子网络拥有更深的网络架构。具体的实现如下：
以前的多尺度网络将上采样的去模糊图像从粗到细传递到下一尺度；而 MSSNet 则传递上采样的残差特征，以促进尺度之间的有效信息传播。具体的实现如下：
在生成尺度输入模糊图像时，为了避免因下采样导致的信息丢失，作者提出了一种基于 Pixel-Shuffle 的多尺度方案。我们先设定模糊图像 B B B 的尺寸为 W × H × 3 W \times H \times 3 W×H×3，对 B B B 进行下采样得到 B 2 B_2 B2，其尺寸为 W / 2 × H / 2 × 3 W/2 \times H/2 \times 3 W/2×H/2×3。具体的实现如下：
MSSNet 采用了跨阶段的特征融合方案。具体地，跨阶段的特征融合方案是指在相邻阶段之间提供额外连接（图 1.2 中粉红色虚线），以促进相邻阶段之间进行更有效的信息传播。图 1.3（a）展示了跨阶段的特征融合方案。
另外，MSSNet 也采用了跨尺度的特征融合方案。同样地，其在相邻尺度之间提供额外连接（图 1.2 中绿色虚线），以促进相邻尺度之间进行更有效的信息传播。图 1.3（b）展示了跨阶段的特征融合方案。
总结：由于每种策略都简单明了，从而决定了 MSSNet 是一种简单的架构网络。尽管 MSSNet 网络架构简单，但是作者通过实验证明，在当时 MSSNet 在模型性能、网络规模和计算耗时方面可以达到最优。
在训练期间，会使用辅助层为 MSSNet 的每个阶段生成一张去模糊图像，即总共会产生 6（1+2+3=6） 张去模糊图像。需要注意的是，在推理阶段，只有图 1.2 中的 U 3 3 U_3^3 U33 才会生成去模糊图像。具体的实现如下：
作者在训练 MSSNet 时，损失函数由内容损失 L c o n t \mathcal{L}_{cont} Lcont 和频率重构损失 L f r e q \mathcal{L}_{freq} Lfreq 组成，具体公式如式（1.1）所示：
L t o t a l = L c o n t + λ L f r e q (1.1) \mathcal{L}_{total} = \mathcal{L}_{cont} + \lambda \mathcal{L}_{freq} \tag{1.1} Ltotal=Lcont+λLfreq(1.1)
其中， λ = 0.1 \lambda = 0.1 λ=0.1。
内容损失函数采用 L1 损失，具体公式如式（1.2）所示：
L c o n t = 1 N 1 ∣ ∣ L 1 1 − L g t ↓ ∣ ∣ 1 + ∑ j = 1 2 1 N 2 ∣ ∣ L 2 j − L g t ∣ ∣ 1 + ∑ j = 1 3 1 N 3 ∣ ∣ L 3 j − L g t ∣ ∣ 1 (1.2) \mathcal{L}_{cont} = \frac{1}{N_1} ||L_1^1-L_{gt\downarrow}||_1 +\sum_{j=1}^2\frac{1}{N_2}||L_2^j-L_{gt}||_1 +\sum_{j=1}^3\frac{1}{N_3}||L_3^j-L_{gt}||_1 \tag{1.2} Lcont=N11∣∣L11−Lgt↓∣∣1+j=1∑2N21∣∣L2j−Lgt∣∣1+j=1∑3N31∣∣L3j−Lgt∣∣1(1.2)
其中 L g t L_{gt} Lgt 是真实的清晰图像， L g t ↓ L_{gt\downarrow} Lgt↓ 是 L g t L_{gt} Lgt 的下采样结果； L i j L_i^j Lij 是每个阶段生成的去模糊图像； N 1 N_1 N1、 N 2 N_2 N2 和 N 3 N_3 N3 是归一化因子，分别为 N 1 = W / 2 × H / 2 × 3 N_1=W/2 \times H/2 \times 3 N1=W/2×H/2×3 和 N 2 = N 3 = W × H × 3 N_2=N_3=W \times H \times 3 N2=N3=W×H×3。
使用频率重构损失的目的：通过最小化去模糊图像和真实图像在频域的差异，从模糊图像中恢复高频细节。具体公式如式（1.3）所示：
L f r e q = 1 N 1 ∣ ∣ F ( L 1 1 ) − F ( L g t ↓ ) ∣ ∣ 1 + ∑ j = 1 2 1 N 2 ∣ ∣ F ( L 2 j ) − F ( L g t ) ∣ ∣ 1 + ∑ j = 1 3 1 N 3 ∣ ∣ F ( L 3 j ) − F ( L g t ) ∣ ∣ 1 (1.3) \begin{aligned} \mathcal{L}_{freq} = &\frac{1}{N_1}||\mathcal{F}(L_1^1)-\mathcal{F}(L_{gt\downarrow})||_1 +\sum_{j=1}^2 \frac{1}{N_2}||\mathcal{F}(L_2^j)-\mathcal{F}(L_{gt})||_1 \\ &+\sum_{j=1}^3 \frac{1}{N_3}||\mathcal{F}(L_3^j)-\mathcal{F}(L_{gt})||_1 \end{aligned} \tag{1.3} Lfreq=N11∣∣F(L11)−F(Lgt↓)∣∣1+j=1∑2N21∣∣F(L2j)−F(Lgt)∣∣1+j=1∑3N31∣∣F(L3j)−F(Lgt)∣∣1(1.3)
其中
F
\mathcal{F}
F 为傅里叶变换。
对于 MSSNet 模型，作者提供了三种变体，他们的主要区别：UNet 网络中的通道数进行了不同的设置。MSSNet-small 设置为 20、60 和 100，MSSNet 设置为 54、96 和 138，MSSNet-large 设置为 80、130 和 180。
[1] MSSNet: Multi-Scale-Stage Network for Single Image Deblurring
