单阶段、多阶段、注意力
将图像分割为不重叠的patches：四个用于第一阶段，两个用于第二阶段，原始图像用于最后一阶段。残差学习：
X
S
=
I
+
R
S
X_S=I+R_S
XS=I+RS，损失函数为
L
=
∑
S
=
1
3
[
L
c
h
a
r
(
X
S
,
Y
)
+
λ
L
e
d
g
e
(
X
S
,
Y
)
]
\mathcal{L}=\sum_{S=1}^{3}\left[\mathcal{L}_{c h a r}\left(\mathbf{X}_{S}, \mathbf{Y}\right)+\lambda \mathcal{L}_{e d g e}\left(\mathbf{X}_{S}, \mathbf{Y}\right)\right]
L=S=1∑3[Lchar(XS,Y)+λLedge(XS,Y)]
编码-解码子网络：首先，我们添加通道注意块(CAB)以提取每个尺度的特征。其次，U-Net Skip连接处的特征图也会通过CAB进行处理。最后，我们没有使用转置卷积来提高解码器中特征的空间分辨率，而是在卷积层之后使用双线性上采样。这有助于减少输出图像中因转置卷积而产生的棋盘效应。
CAB结构如下：
在最后一阶段引入了原始分辨率子网络(ORSNet)。ORSNet不采用任何下采样操作，并生成空间丰富的高分辨率特征。它由多个原始分辨率块(ORB)组成，每个原始分辨率块还包含CAB。ORB的结构如下：
交叉阶段的特征融合：我们在两个编码器-解码器之间以及编码器-解码器和ORSNet之间引入了CSFF模块。请注意，一个阶段的特征首先用1×1卷积进行细化，然后再传播到下一阶段进行聚合。CSFF有几个优点。首先，由于在编码器-解码器中重复使用上下采样操作，使得网络不易受到信息丢失的影响。第二，一个阶段的多尺度特征有助于丰富下一阶段的特征。第三，网络优化过程变得更加稳定，因为它简化了信息流，从而允许我们在总体架构中添加几个阶段。 
在每两个阶段之间引入一个监督注意力模块，这有助于实现显著的性能提升。首先，它提供了对每个阶段的渐进式图像恢复有用的地面真实监控信号。其次，在局部监督预测的帮助下，我们生成注意力图来抑制当前阶段信息量较小的特征，只允许有用的特征传播到下一阶段。 
SAM接受早期阶段的特征
F
i
n
∈
R
H
×
W
×
C
F_{in}∈ R^{H×W×C}
Fin∈RH×W×C，首先使用一个简单的1×1卷积生成残差图像
R
S
∈
R
H
×
W
×
3
R_S∈ R^{H×W×3}
RS∈RH×W×3。将残差图像添加到降级的输入图像
I
I
I以获得恢复的图像
X
S
∈
R
H
×
W
×
3
X_S∈R^{H×W×3}
XS∈RH×W×3。对于这个预测图像
X
S
X_S
XS，我们用地面真实图像(GT)提供明确的监督。接下来，每(per)像素的注意力Masks
M
∈
R
H
×
W
×
C
M∈ R^{H×W×C}
M∈RH×W×C由图像
X
S
X_S
XS使用1×1卷积和Sigmoid激活生成。然后，这些Masks用于重新校准变换后的局部特征
F
i
n
F_{in}
Fin(在1×1卷积后获得)，从而产生被添加到恒等映射路径的注意力引导特征。最后，SAM生成的注意力增强特征表示
F
o
u
t
F_{out}
Fout被传递到下一阶段进行进一步处理。
消融实验：
https://github.com/swz30/MPRNet
