Liu M, Zhang Z, Hou L, et al. Deep Adaptive Inference Networks for Single Image Super-Resolution[J]. arXiv preprint arXiv:2004.03915, 2020.
https://github.com/csmliu/AdaDSR
一、介绍
1、motivation
-
内容适应性问题：现有模型的计算成本仍然独立于图像内容和应用场景，模型一旦训练完成，推理阶段是确定性的，图像中的所有区域都需要经过整个网络的前向计算，网络计算无法根据图像内容进行适应性的调整。但是实际中，比如含有8个残差块的EDSR，足以超分辨出纹理较少的光滑图像块。相比之下，对于细节丰富的图像块，则至少需要24个残差单元。
-
资源适应性问题：对于现实应用场景，SISR模型应该可以部署到不同的硬件平台上。即使对于给定的硬件设备，模型也应该在不同的电池条件或工作负载下运行，并且必须满足各种效率约束。该问题也可以通过使模型推理过程自适应于效率约束来解决。
2、solution
-
重建精度跟效率的平衡： AdaDSR引入了一个轻量的适配器模块，该模块以图像特征为输入，并生成图像每个像素对应的网络深度图。如考虑堆叠的残差网络，图像的某位置给定了局部网络深度d，则在测试阶段只需要计算前d个残差块。
-
自适应于资源约束：可以将硬件平台和应用程序场景的效率约束表示为特定的期望深度d
-
预测深度图对于平滑区域网络深度值较小，对于细节丰富的区域网络深度值较大。AdaDSR可以通过指定网络深度值来灵活地调整，以满足各种效率约束。
二、主要内容
1、网络框架
单帧图像超分可以表示为：
考虑由三个主要模块组成的代表性深度SISR网络，即特征提取Fe、残差块和HR重建Fr。如EDSR，残差块的输出可以表示为：
其中
表示第l个残差块的网络参数。给出第（l-1）个残差块的输出，第l个残差块可以被写成
。最后重建高分辨率图像可以被表示为
对于图像平滑区域，不需要使用所有残差块进行重建，对于纹理细节丰富的区域，又需要更多的残差块进行重建，为了实现空间变化的网络深度，作者引入了一个二维网络深度图：
，即处理光滑区域时，网络深度较小；处理具有丰富细节的区域时网络深度较大。于是将网络结构改成：
2、用于有效推理的稀疏卷积
设
为mask表示应保持卷积激活的位置。对于一些常规实现方法，首先要执行标准卷积获得整个输出特征映射
。然后，稀疏结果就可以表示为：
，虽然这种实现满足了空间自适应推理的要求，但与标准卷积依然保持相同的计算复杂度。
作者采用了基于im2col的稀疏卷积进行有效的自适应推理。在底层实现时，卷积会通过im2col转换成矩阵乘法，f中的图像块转换为矩阵
的一行，给定mask m，如果重组输入特征的某位置具有零掩码值，则在构造重组输入特征时可以简单地跳过相应的行(参见图中的阴影行)，计算也被跳过。
3、轻量级适配器模块
适配器模块p以特征映射 为输入，由四个具有PReLU非线性激活函数的卷积层和另一个具有Relu非线性激活函数的卷积层组成。通过适配器模块生成的掩码m，构造稀疏残差块，从而省略具有零掩码值的区域的计算，以便于有效的自适应推理。
为了满足效率约束，还将期望的网络深度d作为适配器的输入：
4、损失函数
重建损失：
考虑到效率约束，要求预测的网络深度的平均d¯近似于期望的深度d，于是引入以下网络深度损失：
总损失：（超参lamda实验中设置为0.01）
三、实验
1、与其他方法的比较：
2、消融实验
其中FAdaEDSR(8)、FAdaEDSR(16)、FAdaEDSR(24)、FAdaEDSR(32)分别以固定深度d = 8、16、24、32进行训练，适配器模块仅以图像特征作为输入。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
