程序员经验分享-hwhale

【DETR】3、Conditional DETR

2023-11-19

在这里插入图片描述

论文：Conditional DETR for Fast Training Convergence

代码：https://github.com/Atten4Vis/ConditionalDETR

出处：ICCV2021

一、Conditional DETR 是怎么被提出来的

DETR 方法自被提出以来，就以其端到端的结构得到了很大的关注，DETR 方法首次将 Transformer 结构引入了目标检测任务中，且使用二分匹配的方式让一个目标只有一个输出框，免去了 NMS 的操作，使用 object queries 的方式免去了手工设置 anchor 的过程。

但是 DETR 的缺点也很明显：

  • 收敛速度慢：需要 500 个 epoch 才能收敛（是 Faster RCNN 的 10~20 倍）
  • 对小目标效果不好：DETR 使用的是 CNN 抽取的最后一层特征（1/32），分辨率较低，细节信息缺失严重，所以小目标检出效果较差

DETR 的基本流程：

  • CNN backbone 提取图像的 feature
  • Transformer Encoder 通过 self-attention 建模全局关系对 feature 进行增强
  • Transformer Decoder 的输入是 object queries 和 Transformer encoder 的输出，主要包含 self-attention 和 cross-attention 的过程。Cross- attention 主要是将 object query 当做查询，encoder feature 当做 key，为了查询和 query 有关的区域。Self-attention 主要是对每个 query 做交互，让每个 query 能看到其他 query 在查询什么东西，从而不重复，类似与 NMS 的作用
  • 对 Decoder 输出的查询好了的 query，使用 FFN 提取出 bbox 的位置和类别信息

针对 DETR 的收敛慢的问题，Conditional DETR 对 DETR 的结构进行了进一步的探索，从 DETR 的 decoder 入手，回顾一下 DETR 中提到的 decoder 的主要作用是关注目标的边界位置（extremity），如下图所示，包括边界位置的大象鼻子、大象蹄子、斑马蹄子等，都是对边界定位很重要的边界信息。

在这里插入图片描述

然后我们再看看 DETR 不同训练 epoch 的模型对边界位置的定位能力，如图 1 所示，在 DETR 训练 50 个 epoch 时（第二行），从空间 attention 图中可以明显的看出来模型并不能很好的找到目标的边界，在训练到 500 个 epoch 的时候（第三行），模型就能很好的找到目标的边界位置的。这里的每个列表示不同 head 的输出。

在这里插入图片描述

为什么会出现这样的问题呢，作者就进行了 DETR 结构的重新思考，并且提出了对之后的多篇工作影响很大的 content query/key 和 spatial query/key 的概念

在 DETR 中，DETR decoder 的 cross-attention 如下图所示（图来自 DETR 原文，cross-attention 是右边分支中间位置的模块），是对 encoder 的输出和 object query 做交叉注意力的模块，会有三个输入：

  • queries：每个 query 都是 decoder 第一层 self-attention 的输出（ content query ）+ object query（ spatial query ），这里的 object query 就是 DETR 中提出的概念，每个 object query 都是候选框的信息，经过 FFN 后能输出位置和类别信息（本文 object query 个数 N 为 300）
  • keys：每个 key 都是 encoder 的输出特征（ content key ） + 位置编码（ spatial key ）构成的，可以看 k 的下边是有一个 + 号的
  • values：只有来自 encoder 的输出

在这里插入图片描述

基于上面提到的 content 和 spatial 的概念，我们就可以继续往下看了，作者本文的动机来源于这么一个结论：

  • 在 cross-attention 中，content embedding 贡献很大，spatial embedding 贡献很小
  • 假设移除 key 中的 positional embedding 和第二层的 object query（但是第一层的 object query 是一定不能移除的哦！！！），AP 只会下降很小的值

影响究竟有多小呢：

  • 训练 50 个 epoch 的时候，不使用 spatial embedding 的话，AP 从 34.9 降到了 34.0
  • 训练 300 个 epoch 的时候，不使用 spatial embedding 的话，AP 下降 1.4

所以 DETR 是把 content key/query 和 spatial key/query 合在一起训练的，既然 spatial 影响不大，那就说明 content 的影响很大，需要要求 content 质量很高，才能得到较好的效果，当 content 质量不高的时候，spatial 再挣扎也没用。所以说，DETR 收敛慢的原因很大程度上是来源于 content 的质量太低了，且难以提升，所以 DETR 需要更大的训练 epoch 才能得到较好的效果，也进一步说明边界位置的定位能力其实来源于 content 特征，要想更快的提升模型对边界位置的定位能力，要能更快的让 content 特征优化得当才行。

说到这里，Conditional DETR 就提出了自己的方法，主要解决的就是 decoder 中的 cross-attention 的 content 难以学习的问题，Conditional DETR 从前一个 decoder 的输出为每个 query 都学习一个 conditional spatial embedding，来为 decoder 的 cross-attention 形成一个所谓的 【 conditional spatial query】。

二、Conditional DETR 的具体实现

2.1 框架结构

Conditional DETR 的方法沿用了 DETR 的整体流程，包括 CNN backbone，transformer encoder，transformer decoder， 以及 object class 和 box 位置的预测器。Encoder 和 Decoder 各自由6个相同的 layer 堆叠而成。Conditional DETR 相对于 DETR 的改动主要在 decoder 的 cross-attention 部分。

改动后的 decoder 的一层如图 3 所示，有三层：

  • 第一层： 输入为上一层 decoder 的输出，self-attention 过程用于去除冗余的预测，self-attention 就是来求 object query embedding 之间的关系，在每个特征都互相交流之后，就能知道每个 query 在预测什么样的特征，从而避免预测的特征冗余了，尽量都预测不一样的特征才好。
  • 第二层：cross-attention 层，用于聚合 encoder 的输出和 decoder 内部的特征，进一步加强特征
  • 第三层：FFN 层

在这里插入图片描述

Box 位置的回归：

在这里插入图片描述

  • f 是 decoder embedding
  • b 是 4d 向量 [x, y, w, h]
  • sigmoid 用于将输出归一化为 [0,1]
  • s 是参考点的未经归一化的 2D 坐标，在 DETR 中是 (0,0)

类别 预测：

在这里插入图片描述

conditional DETR 的 cross-attention 主要的作用：

  • 定位目标区域，也就是定位 bbox 的 4 个边界位置来定位，识别框内的目标区域用于分类
  • 通过引入 conditional spatial queries ，能够提升定位能力，且加速训练过程

2.2 DETR 的 cross-attention 和 Conditional DETR 的 cross-attention 对比

1、DETR

在 DETR 中，DETR decoder 的 cross-attention 如下图所示（图来自 DETR 原文，cross-attention 是右边分支中间位置的模块），是对 encoder 的输出和 object query 做交叉注意力的模块，会有三个输入：

  • queries：每个 query 都是 decoder 第一层 self-attention 的输出（ content query c q c_q cq​）+ object query（ spatial query p q p_q pq​ ），这里的 object query 就是 DETR 中提出的概念，每个 object query 都是候选框的信息，经过 FFN 后能输出位置和类别信息（本文 object query o q o_q oq​个数 N 为 300）
  • keys：每个 key 都是 encoder 的输出特征（ content key c k c_k ck​ ） + 位置编码（ spatial key p k p_k pk​）构成的，可以看 k 的下边是有一个 + 号的
  • values：只有来自 encoder 的输出

因为所有的 spatial 的 content query/key 都是加在一起的，所以 attention 时候操作过程如下：

在这里插入图片描述

2、Conditional DETR

conditional cross-attention 方法将 content 和 spatial 分开了，使用如下的方式进行，让 spatial query 聚焦于 spatial attention，content query 聚焦于 content attention

在这里插入图片描述

三、效果

在这里插入图片描述

在这里插入图片描述

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

DETR 系列算法

目标检测

DETR

【DETR】3、Conditional DETR 的相关文章

  • CVPR 2023｜UniDetector：7000类通用目标检测算法（港大&清华）

    作者 CV君 编辑 极市平台 点击下方卡片 关注 自动驾驶之心 公众号 ADAS巨卷干货 即可获取 点击进入 自动驾驶之心 目标检测 技术交流群 导读 论文中仅用了500个类别参与训练 就可以使UniDetector检测超过7k个类别 向大

  • 图像目标检测之cascade-rcnn实践

    最近一直在调试目标检测方面的模型 其中mmdetection中就集成了许多的目标检测模型 其中表现比较好的模型中有cascade rcnn 因此也趁这个机会具体了解一下这个模型的发展脉络 1 模型原理 在two stage模型中 常见都会预

  • 基于GroundingDINO构建目标检测数据集自动标注工具-支持COCO和VOC格式

    0 介绍 GroundingDINO是最新发布的zero shot目标检测器 在多个数据集上取得了很好的结果 在该方法的基础上 本人修复该方法自动标注的bug 并增加VOC格式 1 安装GroundingDINO 根据github提供的源码

  • Coordinate attention,SE,CBAM

    1 SE 因为普通卷积难以建模信道关系 SE考虑通道的相互依赖关系增强模型对信息通道的敏感性 同时全局平均池化可以帮助模型捕获全局信息 然而SE只考虑了内部通道信息而忽略了位置信息的重要性 输入X首先经过全局平均池化 然后经过全连接层来捕获

  • YOLOV2个人理解总结

    YOLOv2框架图 YOLOv2改进之处 1 Batch Normalization BN Batch Normalization 层简单讲就是对网络的每一层的输入都做了归一化 这样网络就不需要每层都去学数据的分布 收敛会快点 原来的YOL

  • Pycharm上Modify Run Configuration的使用方法，带参数配置

    前言 我们在搭建yolo系列目标检测模型时 往往需要对代码进行逐步调试 及时发现错误 所以本文在pycharm的基础上 对yolov6中的infer py进行逐步调试 首先我们在conda环境一切准备就绪的情况下 能在终端tenminal中

  • import tensorflow as tf报错ModuleNotFoundError: No module named 'tensorflow'

    在安装tenserflow和keras的时候 安装完毕进行验证的时候会报错 解决方法就是需要安装tf nightly 安装完毕错误就不再报了 pip install tf nightly

  • [YOLO专题-23]：YOLO V5 - ultralytics代码解析-网络子结构详解

    作者主页 文火冰糖的硅基工坊 文火冰糖 王文兵 的博客 文火冰糖的硅基工坊 CSDN博客 本文网址 https blog csdn net HiWangWenBing article details 122369993 目录 第1章 网络总

  • 【目标检测】【语义分割】—Mask-R-CNN详解

    一 mask rcnn简介 论文链接 论文链接 论文代码 Facebook代码链接 Tensorflow版本代码链接 Keras and TensorFlow版本代码链接 MxNet版本代码链接 mask rcnn是基于faster rcn

  • 目标检测入坑指南3：VGGNet神经网络

    学了蛮久的目标检测了 但是有好多细节总是忘或者模棱两可 感觉有必要写博客记录一下学习笔记和一些心得 既可以加深印象又可以方便他人 博客内容集成自各大学习资源 所以图片也就不加水印了 需要自取 本专栏会详细记录本人在研究目标检测过程中的所学所

  • 目标检测之YOLOv1算法分析

    网络结构 卷积层 池化层 全连接层 输入 448 448 448 448 448 448大小的图片 输出 7 7

  • [YOLO专题-27]：YOLO V5 小目标检测遇到的问题与常见解决办法

    作者主页 文火冰糖的硅基工坊 文火冰糖 王文兵 的博客 文火冰糖的硅基工坊 CSDN博客 本文网址 YOLO专题 27 YOLO V5 小目标检测遇到的问题与常见解决办法 文火冰糖 王文兵 的博客 CSDN博客 目录 第1章 前言 第2章

  • YOLO算法v1-v3原理通俗理解

    YOLO算法v1 v3原理通俗理解 深度学习检测方法简述 我们所使用的目标检测 其实就是让机器在图片找到对应的目标 然后给图片上的目标套上一个框框 并贴上标签 比如如果图片上有人 就把人框起来并标注一个 person 使用深度学习进行目标检

  • 华为Atlas200dk使用第三步------只用一根网线登录华为开发板

    华为开发板Atlas200DK ARES500DK开发板 开发板使用心得系列文章目录 第三章 一根线登录华为开发板 目录 前言 同时使用网线和串口线连接开发板有点多余 线多显得乱 串口连接开发板也比较繁琐 因此本文给大家提供两种使用一根网线

  • 全网最最最轻量级检测网络 yolo-fastest 快速上手

    文章目录 0x01 Yolo Fastest 0x02 Prepare step1 clone step2 make step3 run darknet 0x03 Train step1 获取权重文件 step2 准备数据集 step3 修

  • yolo 车辆测距+车辆识别+单目测距（双目测距）

    基于yolo目标检测算法实现的车前道路中的车辆和行人检测 并且可以估测出目标与本车之间的距离 一 视频展示 yolo车距1 订阅专栏获得源码 提供完整代码 无需看下文 二 单目测距原理 图中有一个车辆 且车辆在地面上 其接地点Q必定在地面上

  • 机器学习课程总结3--基本卷积神经网络+评价指标+目标检测与Yolo网络

    提示 文章写完后 目录可以自动生成 如何生成可参考右边的帮助文档 目录 一 基本卷积神经网络 1 AlexNet 2 VGG 16 3 残差网络 二 常用数据集与评价指标 1 数据集 2 评价指标 三 目标检测 YOLO 1 1 目标检测问

  • Far3D：直接干到150m，视觉3D目标检测新思路（AAAI2024）

    点击下方 卡片 关注 自动驾驶之心 公众号 ADAS巨卷干货 即可获取 gt gt 点击进入 自动驾驶之心 3D目标检测 技术交流群 论文作者 自动驾驶Daily 编辑 自动驾驶之心 近来在 Arxiv 读到一篇纯视觉环视感知的新工作 它延

  • 深度学习目标检测全连接层什么意思

    在深度学习目标检测中 通常我们使用卷积神经网络 Convolutional Neural Network CNN 进行特征提取 CNN 的主要结构包括卷积层和池化层 用于从输入图像中提取特征 然而 为了最终输出目标的类别和位置信息 通常在网

  • 作物叶片病害识别系统

    介绍 由于植物疾病的检测在农业领域中起着重要作用 因为植物疾病是相当自然的现象 如果在这个领域不采取适当的护理措施 就会对植物产生严重影响 进而影响相关产品的质量 数量或产量 植物疾病会引起疾病的周期性爆发 导致大规模死亡 这些问题需要在初

随机推荐

  • Python的pyautogui库（鼠标，键盘操作篇）

    图片操作篇可以观看https blog csdn net m0 61741706 article details 126898616 pyautogui库可以模仿人去点击输出和键盘 相比selenium库 pyautogui库更方便 更便捷

  • [35]html总结01

    lesson01 lesson02基础

  • 服务器名称为空不显示,服务器名称为空

    服务器名称为空 内容精选 换一换 对某一个保护组的停止保护操作 保护组status为protected或者error stopping才能停止保护 URI格式POST v1 project id server groups server g

  • matlab生成cos函数_从零开始的matlab学习笔记——（22）三维曲面绘制

    matlab应用 求极限 求导 求积分 解方程 函数绘图 三维图像 更多内容尽在个人专栏 matlab学习 上一节我们说了说三维曲线的绘制 这一节我们趁热打铁 说一说三维曲面 meshgrid函数 建造三维曲面之前 我们先来了解一下mesh

  • stm32编译错误 L6218E L6304W

    当写一个关于stm32输出正弦波的程序时 编译文件出现 OBJ Template axf Error L6218E Undefined symbol main referred from rxxxx 错误 是main函数未定义 出现 OBJ

  • 招银网络科技2024「金融科技未来星」海外校园招聘计划启动！

    亚控科技真有知乎上说的这么差吗 有拿到offer的可以交流下 京东初试 淘天集团是谁 同学 简历已发送请查收 拼多多面试 秋招趣事之汇川技术 好的不学净学坏 这份24届求职黑名单快收藏 不要再重蹈覆辙 社招校招都可以投 可私聊我看进度 终于

  • C++11 并发指南五(std::condition_variable 详解)

    C 11 并发指南五 std condition variable 详解 前面三讲 C 11 并发指南二 std thread 详解 C 11 并发指南三 std mutex 详解 分别介绍了 std thread std mutex st

  • C++多线程(并发、进程、线程的基本概念和综述)

    并发 进程 线程的基本概念和综述 并发 并发表示两个或者更多任务 独立的活动 同时发生 进行 例如 一面唱歌一面弹琴 一面走路一面说话 画画的时候听小说等 回归到计算机领域 所谓并发 就是一个程序同时执行多个独立的任务 以往计算机只有单核C

  • (一)、Sun FtpClient

    项目实践中遇到Ftp传输问题 在这里做个专辑 第一篇还是介绍一下sun提供的FtpClient 这个也是网上说的最多的 在这里我只是给出例程 不再做详细的解释 sun提供的FtpClient简单宜用 不支持任何加密方式 并没有提供相应的ap

  • [网络安全自学篇] 十四.Python攻防之基础常识、正则表达式、Web编程和套接字通信（一）

    这是作者的系列网络安全自学教程 主要是关于网安工具和实践操作的在线笔记 特分享出来与博友共勉 希望您们喜欢 一起进步 前文分享了Wireshark抓包原理知识 并结合NetworkMiner工具抓取了图像资源和用户名密码 本文将讲解Pyth

  • 1000: A+B的问题

    刷题网站 目录 题目描述 输入格式 输出格式 输入样例 输出样例 完整程序 题目描述 给定两个整数a b 0 lt a b lt 1000 计算a b的值 输入格式 有多组测试数据 每组一行 每行有两个整数a b 输出格式 输出a b的值

  • QT信号和槽连接方式小结

    QT信号和槽 qt信号和槽的连接方式 qt信号和槽的连接方式分为具体分五种 在手册中查看了Qt ConnectionType的枚举类型结果如下 Qt AutoConnection 0 默认 如果信号的发送和接收方在相同线程的情况下 使用Qt

  • 用Python的turtle模块绘制粽子

    导语 在这篇博客中 我们将使用Python的turtle模块来绘制中国传统食物 粽子 粽子是一种由糯米包裹在竹叶中制成的饺子 通常在端午节期间食用 我们将逐步解释代码并解释每个组成部分 以了解如何绘制粽子 准备工作 首先 我们需要导入tur

  • 如何遍历一个栈而且保持原栈不动

    用Iterator public static void printStack Stack

  • 适合于流式播放的DirectShow客户服的编写

    转载请标明是引用于 http blog csdn net chenyujing1234 例子代码 包括客户端与服务端 编译工具 VS2005 http www rayfile com zh cn files a34cb700 74ce 11

  • 免费实用的日记应用:Day One for Mac中文版

    Day One for Mac是一款运行在Mac平台上的日记软件 你可以使用Day One for mac通过快速菜单栏条目 提醒系统和鼓舞人心的信息来编写更多内容 day one mac版还支持Dropbox同步功能 想要day one

  • Linux shell中if [ $? -eq 0 ] 语句作用:判断命令是否执行成功

    shell脚本中 是指上一次命令执行的成功或者失败的状态 如果成功就是0 失败为1 语句if eq 0 是判断if语句的上一个命令执行如果成功就执行if中的语句 否则就执行else中的内容 note 使用时要注意 if后面的中括号 eq 0

  • ES概述与JS实现

    一 ES概述与JS实现 ES是国际标准化组织发布的浏览器脚本语言的标准 全名 ECMAScript ES是JS语言的国际标准 JS是ES的实现 在日常场合 两个词可以互换 ES是JS的子集 它是JS的内容的一部分 一个完整的JS实现是由以下

  • Ubuntu snap 使用大量 /dev/loop 设备

    snap 是 Ubuntu 上的新型软件包管理方式 但也证明 snap 虽然想以新代旧 但明显做的并不好 这里也是 snap 软件包管理的问题 自带的 咱并不想要 这个问题类似于 MacOS 上安装了 img 格式的软件后会有一个挂载点存在

  • 【DETR】3、Conditional DETR

    文章目录 一 Conditional DETR 是怎么被提出来的 二 Conditional DETR 的具体实现 2 1 框架结构 2 2 DETR 的 cross attention 和 Conditional DETR 的 cross

热门标签