Rethinking BiSeNet For Real-time Semantic Segmentation

2023-11-02

Rethinking BiSeNet For Real-time Semantic Segmentation

摘要

BiSeNet已经被证明是一种流行的实时分割的双流网络。然而,其增加额外路径来编码空间信息的原理是耗时的,并且从预训练的任务(例如图像分类)中借用的骨干网可能由于特定任务设计的不足而不能有效地用于图像分割。为此,提出Short-Term Dense Concatenatenetwork(STDC Network)。具体地说,我们逐步降低了特征图的维数,并将特征图的聚合用于图像表示,构成了STDC网络的基本模块。在解码器中,我们提出了一个Detail Aggregation module细节聚合模块,将学习的空间信息以单流的方式整合到低层。最后,融合低层特征和深层特征对最终的分割结果进行预测。

引言

DFANet [18] and BiSeNetV1把轻量化网络作为骨干网,由于特定任务设计的不足,这些从图像分类任务中引用来的轻量化网络可能不能很好地解决图像分割问题。另一种常用提高推理速度方法是限制输入图像大小,但容易忽略边界和小对象周围的详细外观,为此,bisenet把低层细节和高层语义相结合得到多分支网络,但是增加一个额外路径获取低层特征非常耗时,辅助路径往往缺乏底层信息引导。
our,STDC模块由多个感受野特征构成且参数量少----将多个连续的层的响应特征进行拼接操作,为了加速,逐步减小卷积核的大小。通过U型结构构成STDC网络。解码端,细节引导模块引导低层细节,首先,用 Detail Aggregation module细节聚合模块得到细节GT,然后,用损失函数优化细节信息。最后将来自低层的细节信息和来自深层的语义信息进行融合,预测结果。
贡献STDC模块, Detail Aggregation模块

相关工作

实时语义分割,两类主流方法实现高效分割,1,lightweight backbone. DFANet,DFNet;2,multi-branch architecture. ICNet,BiSeNetV1,BiSeNetV2

Encoding Network

STDC模块

在这里插入图片描述 ||在这里插入图片描述

  • block1卷积核大小1x1,其余为3X3.。
  • 给定模块输出通道为N,则第i层通道为 N / 2 i N/ 2^{i} N/2i,(除了最后一个block和之前一个block相同)。
  • 分类任务多在,高/深层用更多的通道数;分割任务,更关注可扩展的感受野以及多尺度信息,故,低层需足够的通道来编码更多细粒度信息,而接受野较大的高层则更注重高层次的信息归纳,设置与低层相同的通道可能会造成信息冗余—低层多通道,高层少通道数。
  • 仅在block2 进行下采样。
  • 对各个block的输出进行concat操作,该操作之前首先用3x3的平均池化下采样为相同大小。
    优点
  • 借用几何级数逐渐减小卷积核大小,显著降低计算复杂度
  • STDC模块的最终输出由所有block输出拼接而成,保留了多个感受野和多尺度信息。

网络架构

在这里插入图片描述

  • 第1-5阶段以步长为2进行下采样
  • 阶段1,2视为特征提取的低层,仅使用一个卷积块
  • 在3,4,5阶段中,每个阶段的第一个STDC模块以步长为2对空间分辨率进行下采样,每个阶段的后续STDC模块保持空间分辨率不变
    在这里插入图片描述

Decoder

分割结构

  • 使用预先训的STDC网络作为编码器骨干网,并采用BiSeNet v1的上下文路径context path对上下文信息进行编码。
  • 3-5阶段生成下采样率为1/8、1/16、1/32的特征图。用全局平均池化来为全局上下文信息提供更大的感受野
  • 在编码阶段,采用U型结构对来自全局特征的特征进行上采样,并与后两个阶段(阶段4和阶段5)的特征相结融合:即同bisenet v1 :使用ARM注意力细化模块对每两个阶段的组合特征进行细化。对于最终的预测,用BiSeNet[ v1中的FFM特征融合模块对来自编码端第三阶段的1/8下采样特征和来自解码端对应特征进行融合。
  • 分割头:3×3 Conv-BN-RELU,然后1×1,以获得对应类别数的输出N
  • 其他:cross-entry loss ,Online Hard Example Mining
    融合思路:编码端含有更多的细节信息,解码端融合了丰富上下文信息
    下图左图为BiSeNet v1结构,右图为该论文结构
    bisenet v1 || 在这里插入图片描述

Detail Guidance of Low-level Features

在这里插入图片描述||在这里插入图片描述

  • 对BiSeNet的spatial path进行可视化b,发现与骨干网中同分辨率特征(stage3特征c)相比,spatial path中的特征有更多的细节信息-------------故,提出Detail Guidance module引导低层以单流方式学习空间信息------------结果如d所示,可有更多细节

  • 将细节预测任务建模为二值分割问题

    • 用拉普拉斯算子从分割GT中产生细节GT;利用细节头在stage3产生细节特征图
    • 用细节GT作为细节特征图的引导,引导低层学习空间细节

    细节GT产生

  • 首先用拉普拉斯算子(如e所示)产生不同步长下的特征图,以获得多尺度细节信息。

  • 将特征图上采样为相同大小后经过1x1卷积进行融合

  • 最后,阈值为0.1,将预测的细节转换为最终的二值细节GT
    细节损失

  • 细节预测是一个类不平衡问题,dice loss计算预测特征和GT重合部分,且其对前/背景像素较敏感,故可缓解类不平衡问题

  • 函数:二值交叉熵损失和dice loss
    在这里插入图片描述

实验

消融实验
在这里插入图片描述
在这里插入图片描述
cityscapes结果
测试时:将图像调整为固定大小的512×1024或768×1536进行推理,然后将结果向上采样到1024×2048
50/75表示输入图像分辨率大小
在这里插入图片描述
#######

-- STDC模块:浅层多通道,深层少通道,特征concat以融合
-- STDC网络:堆叠STDC模块构成
-- 用于分割:舍弃bisenet v1细节分支,由STDC的stage3配合detail head实现,继续沿用bisenet中的ARF、FFM模块
-----综上:STDC网络不错,细节头也不错
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Rethinking BiSeNet For Real-time Semantic Segmentation 的相关文章

  • 什么是数据挖掘技术,基本概念是什么?

    随着计算机技术的发展 各行各业都开始采用计算机及相应的信息技术进行管理和运营 这使得企业生成 收集 存贮和处理数据的能力大大提高 数据量与日俱增 企业数据实际上是企业的经验积累 当其积累到一定程度时 必然会反映出规律性的东西 对企业来 堆积

随机推荐

  • JavaWeb-使用cookie完成两周内免登录功能

    欢迎页面 h2 欢迎页面 h2 br
  • 一文看懂异步 FIFO 架构(三) 双时钟的异步 FIFO

    目录 工作原理 方向标志 方向标志的实现 计算满和空 结论 往期系列博客 在本系列的第一篇文章中 我们看到了 FIFO 的一般架构 并分析了一个时钟的简单情况 该系列的第二部分描述了一种可能的双时钟设计的架构 在第三部分中 我们将探索另一种
  • Window操作系统基本知识

    windows系统 kernel32 dll是Windows 系统中非常重要的32位动态链接库文件 属于内核级文件 它控制着系统的内存管理 数据的输入输出操作和中断处理 当Windows启动时 kernel32 dll就驻留在内存中特定的写
  • 【CSS】滚动条样式详解

    只总结webkit的 IE与firefox暂不做记录 呼出与关闭滚动条 1 如果是浏览器的滚动条 其依赖的是html标签 我们不需要设置 内容溢出会自动出现 对html标签的溢出样式隐藏即可 html overflow x hidden 隐
  • 集合竞价规则及集合竞价的产生条件

    了解一下集合竞价规则 对于股民来说 是非常重要的 否则连一些基本的定义都了解不清楚的话 那么就麻烦了 下面为你介绍一下集合竞价规则以及集合竞价的产生条件 如果想要了解更多集合竞价方面的知识 敬请关注QR量化投资社区 下面让我们了解一下集合竞
  • 引入flutter module,运行时flutter_webview_plugin报错:Unhandled Exception: MissingPluginException

    异常信息 Android原生项目引入了一个flutter module flutter module用到了一个flutter写的sdk sdk需要使用webview来执行js代码 因此sdk引用了flutter webview plugin
  • mysql 分区表合并_MySQL 合并表、分区表

    合并表 合并表示一种早期的 简单的分区实现 在未来可能被淘汰 不推荐使用 限制 合并表和子表的字段 索引要完全相同 即使子表上有主键限制 合并表中仍然会出现重复值 如果删除其中一个子表 表可能还存在 带只能通过合并表访问 视操作系统而定 合
  • @GetMapping 接多个参数的写法

    后面拼接接着拼接上去就行了 此上方面针对于 接收多个未知参数 但是针对有很多需要模糊查询的方面 如果 我们所需要的接收的参数 是我们实体类对象的话 就不需要这么麻烦了 直接带入实体类对象 用即可
  • qt 串口通信

    qt串口通信 需要用到QSerialport类 1 pro文件中添加QT serialport 2 获取当前有哪些串口设备 QSerialPortInfo availablePorts 3 设置要打开的串口 setPortName 然后打开
  • 前端人员学习postman

    前端人员使用postman postman介绍 下载安装 posman的基本操作 主要进的是如何新建一个文件夹 然后新建请求 postman发送不同请求 讲的是如何发送不同类型的请求 发送get请求 发送post请求 body里面数据类型的
  • 人工智能科技成熟的11个Github上免费开源项目,很多电影中才有的场景应用到现实颠覆普通人的认知和想象

    人工智能科技成熟的11个Github上免费开源项目 很多电影中才有的场景应用到现实颠覆普通人的认知和想象 全文大纲 PULSE 该开源项目可以通过给图片增加像素点来实现去马赛克或高清化 Depix 给打了马赛克的文字去码 TecoGAN 给
  • Wireshark数据抓包分析之ARP协议

    目录 预备知识 1 知识储备 2 什么是ARP 3 ARP工作流程 4 ARP缓存表 实验目的 实验环境 实验步骤一 实验步骤二 实验步骤三 预备知识 1 知识储备 推荐两本好书 TCP IP详解卷1 http www pc6 com so
  • 两相混合步进电机(简单驱动器)simulink仿真

    1 目的 主要是控制步进电机的正反转以及周期性的转动一个步距角度 驱动模式为整步4拍不涉及到对转速的控制 比较基础 其次比较着重于对模型的分析 如有错误 这里欢迎大佬们指出 推荐先看一下以下的论文 基于simulink的步进电机控制系统仿真
  • MySQL 删除表中的数据记录

    文章目录 前言 一 删除表中的数据记录 1 删除特定数据记录 2 删除所有数据记录 总结 前言 删除数据记录是数据操作中常见的操作 可以删除表中已经存在的数据记录 在MySQL中可以通过DELETE语句来删除数据记录 该SQL语句可以通过以
  • JAVA中extends 与implements区别

    http www cnblogs com hnrainll archive 2011 10 11 2207773 html JAVA中extends 与implements有啥区别 1 在类的声明中 通过关键字extends来创建一个类的子
  • 爬取豆瓣电影排行榜top 250

    coding utf 8 import requests import re os 爬取豆瓣250 def douban ranking start 构建请求 param start start filter respon requests
  • 使用VS Code断点调试PHP

    vs code 使用一款杰出的轻量级代码编辑器 其中的插件工具不胜枚举而且还在不断增加 使用 vs code 调试 php 代码更是方便简洁 下面我们来一起看一下 1 安装 XDebug 扩展 调试 php 代码最常用的就是 XDebug
  • python:ezdxf——如何使用

    官方文档 https ezdxf readthedocs io en master howto index html 文章目录 一 基本文件 1 设置 获取标头变量 2 设置DXF绘图单元 3 创建更具可读性的DXF文件 DXF漂亮打印机
  • 下载vant源码在本地查看小程序模版

    官网地址 Vant地址 运行 git clone git github com youzan vant weapp git cd vant weapp npm install npm run dev 接着打开微信开发者工具 导入exampl
  • Rethinking BiSeNet For Real-time Semantic Segmentation

    Rethinking BiSeNet For Real time Semantic Segmentation 摘要 BiSeNet已经被证明是一种流行的实时分割的双流网络 然而 其增加额外路径来编码空间信息的原理是耗时的 并且从预训练的任务