今天和大家分享CVPR2021中语义分割领域的一篇论文，论文标题及作者如下图所示：
论文下载地址：https://arxiv.org/abs/2104.13188
代码即将开源：https://github.com/MichaelFan01/STDC-Seg
深度学习促进了计算视觉领域中语义分割算法的发展；随着自动驾驶、视频监控等应用场景的迫切需求，面向终端的轻量化语义分割网络被广泛研究。
为了减少算法的耗时，一些诸如DFANet、BiSenetv1的语义分割算法使用了轻量化的backbone，但是它们都是直接使用用于分类任务设计的backbone，作者认为，专为分类任务设计的backbone不能再语义分割领域中充分发挥它们的性能。
bisenet使用了multi-path结构的网络融合低层次特征和高层次特征，然而额外增加分支增加网络的运行时间。
作者提出了stdc模块，能够使用较少的参数量提取多尺度特征，且能够很方便地集成到u-net类型的语义分割网络中；对bisenet中的multi-path结构做出了改进，在提取低层细节特征的同时减少网络计算量。
STDC模块的结构如下图所示：
图中的ConvX表示卷积+bn+relu操作，M表示输入特征通道数，N表示输出特征通道数。
在STDC模块中，第1个block的卷积核尺寸为11，其余block的卷积核尺寸为33.
若STDC模块的最终输出通道数为N，除最后一个block外，该模块内第i个block的输出通道数为N/（2**i），最后一个block的输出通道数与倒数第二个block保持一致。
与传统的backbone不同的是，STDC模块中深层的特征通道数少，浅层的特征通道数多。作者认为，浅层需要更多通道的特征编码细节信息；深层更多关注高层次语义信息，过多的特征通道数量会导致信息冗余。
STDC模块最终的输出为各block输出特征的融合，即：
上式中的F表示融合函数，x1、x2、…，xn表示n个block的输出，xoutput表示STDC模块的输出。使用concatenation操作融合n个block的特征。
下图表示stride=2版本的STDC模块：
对于stride=2版本的STDC模块，在block2中进行下采样操作；为了在融合时，保证feature map尺寸一致，对大尺寸的feature map使用stride=2，3*3的average pooling操作进行下采样。
STDC模块有两个特点：
（1）随着网络加深，逐渐减少特征通道数，以减少计算量；
（2）STDC的输出融合了多个block的输出feature map，包含多尺度信息。
下面表示由STDC模块组成的STDC网络：
该网络包含了6个stage，stage1~stage5中都对feature map进行了步长为2的下采样，stage6输出预测结果。
为了减少计算量，stage1和stage2中只使用1个卷积层。stage3~stage5中每个stage包含若干个STDC模块，其中第1个STDC模块包含下采样操作，其余STDC模块保持feature map尺寸不变。
作者构建了2个STDC网络，分别命名为STDC1和STDC2，它们的结构如下表所示：
表中的ConvX表示卷积+bn+relu，stage3~stage5均由若干个STDC模块组成。上表中的KSize表示kernel表示kernel尺寸，S表示步长，R表示重复次数，C表示输出通道数。
使用BiSeNet中的context path提取上下文信息，使用STDC网络作为backbone，构建STDC分割网络，如下图所示。：
网络中的stage3、stage4和stage5均对feature map进行下采样，然后使用global average pooling提取全局上下文信息。使用U型结构上采样特征，并与Stage4、Stage5后面的ARM（Attention Refine Module，借鉴自BiSeNet）输出进行融合，融合结果作为FFM（Feature Fusion Module，借鉴自BiSeNet）的输入，为FFM提供高层次语义信息，FFM的另外一个输入为Stage3输出的特征，该特征为FFM提供低层次细节信息。FFM的输出特征通过8 × 上采样进入Seg Head，Seg Head包括1个3 × 3 的卷积、BN和ReLU操作，以及1个1 × 1卷积，最终输出N维度特征，N为分割类别数。
为了弥补去除BiSeNet中的Spatial分支造成的细节损失，作者在stage3后面插入了detail head，使得stage3能够学到细节信息。需要注意的是，detail head只在训练中使用，目的是让stage3输出的feature map包含足够多的细节特征，用于与context分支的高层次语义特征融合。
作者使用了上图中图（C）的结构得到detail head的ground truth，即对标签分别做步长为1，2，4的Laplace conv，分别对步长为2和步长为4的输出结果进行2和4的上采样，使用带有可学习参数的1*1卷积融合，通过0.1的阈值输出最终的ground truth。
上述操作生成的ground truth中，细节特征所占的像素远少于非细节所占的像素，因此Detail Head部分面临着类别不均衡问题。因此联合使用binary cross-entropy loss和dice loss，dice loss可以缓解类别不均衡问题，detail loss为：
上图中图（b）的Detail Head包括1个3 × 3 的卷积、BN和ReLU操作，以及1个1 × 1卷积。
STDC分割网络和BiSeNet在总体结构上的差异如下图所示：
STDC分割网络使用Detail Guidance替代BiSeNet中的Spatial分支，在保留细节特征的同时减少了计算量。
在ImageNet数据集上训练STDC分类网络，并在验证集上测试，结果如下表所示：
从上表中可以看出，STDC系列网络兼顾性能和计算速度。
在Cityscapes数据集上训练STDC分割网络，分别使用512 × 1024 512 \times 1024512×1024和768 × 1536 768 \times 1536768×1536分辨率的图片作为网络输入，将输出结果上采样至1024 × 2048 1024 \times 20481024×2048。在测试集上测试的模型使用了训练集和验证集进行训练，性能和速度如下表所示：
上表中的Seg50表示输入图片分辨率为512 × 1024，Seg75表示输入图片分辨率为768 × 1536。
从上表中可以看出，STDC分割网络在保持高推理速度的同时有着更高的精度。
一个更直观的比较如下图所示：
上表中的性能是在Cityscapes测试集上的结果，FPS在1080Ti GPU上使用batch为1时测得。
下图直观地表示了使用Detail Guidance与否对Stage3特征和分割结果的影响：
图（a）表示输入图像，图（b）和图（d）分别表示未使用Detail Guidance时Stage3和网络预测结果，图（c）和图（e）表示使用了Detail Guidance时Stage3和网络预测结果，图（f）表示ground truth。
从图中可以看出，使用了Detail Guidance后，Stage3的feature map细节更丰富，分割结果中的细节也更好。
4.总结
作者提出了STDC轻量化backbone用于分割任务；使用Detail Guidance替代BiSeNet中的Spatial分支，保留低层次细节特征的同时有效地减少了网络计算量。
