程序员经验分享-hwhale

CenterFusion++：基于centerfusion改进的下一代毫米波雷达与视觉融合方案

2023-05-16

CenterFusion++：基于centerfusion改进的下一代毫米波雷达与视觉融合方案

A frustum proposal-based 3D object detection network for multi-stage fusion in autonomous driving

  • 源码：https://github.com/brandesjj/centerfusionpp
  • 文章：file:///D:/googleDownload/K%C3%BCbel_Brandes_2022.pdf

img

为了能够保证在未知环境中安全导航，必须在不同的天气和明亮条件下准确、可靠地检测自车周围三维环境中的物体，包括它们的速度。 这项工作涉及在自动驾驶中使用深度机器学习将两种互补的传感器模式雷达和摄像头进行传感器融合。 目标是结合两种传感器模式的优点并弥补它们的缺点。 常见的传感器融合算法通常使用经过充分研究的算法，例如卡尔曼滤波器。 然而，随着机器学习算法的日益普及，人们对基于深度学习的不同传感器模式融合的兴趣加深。 经过广泛的文献研究，这项工作激发、实现和评估了对相机雷达传感器融合中最先进的深度学习网络的两项主要修改。提出的改进包括一个子网络，它从点云的选定部分学习，并将早期融合引入网络。所有提出的架构的训练运行都是在流行的 nuScenes 数据集上进行的。

改进方向

上述提到的两点修改(基于centerfusion)：

  • **早期融合（EF）：如上图的3D TO 2D的绿色框，**作为雷达点云在图像平面上的投影。投射的雷达点图像特征（默认为：深度、x和z的速度分量以及RCS值）然后被concate到RGB图像通道，作为网络结构中基于图像的骨干的新输入。EF引入了对相机传感器故障和挑战性环境条件（如雨/夜/雾）的鲁棒性。
  • **可学习的目标-雷达点云关联网络 (LFANet)：这也是不同于centerfusion，*架构的第二个主要变化是关于相机和雷达点云之间的基于frustum-proposal关联方法。我们提出了一个称为LFANet的网络，该网络将frustum的点云经过处理作为固定大小的radar特征图作为输入，输出一个代表frustum中所有雷达点的人工雷达点r，而不是选择从primary head预测出来的目标关联(用r*表示frustum内部的所有点云)。LFANet经过训练，可以输出与雷达点相关的边界盒中心的深度，以及相应的径向速度。然后，LFANet的输出被用作Nabati等人所介绍的热图中的新通道。

一些细节

  1. 雷达点云叠帧后的偏移

img

当n_sweeps=13时，点云由于它车运动，偏移较大，centerfusion选取sweeps=3，此时点云偏移在自车GT范围内，误差可接受

\2. Primarry Head的雷达特征图

img

img

其中M1=d_max，M2,M3为1，只对深度channel标准化

\3. 与CenterFusion的不同

img

\4. Learn Frustum Association Net(LFANet)

img

作者统计CenterFusion的深度特征图关联方式(只选择frustum的depth_min的雷达点云作为2d-bbox的深度)下计算的object depth与GT object depth的相对、标准化误差值。其中：横坐标是error的单位，纵坐标是error对应的frustum数量，统计的frustum是指至少包含至少一个radar点云的object。

img

上图中：最下方的方块为按照最近关联点原则匹配给object的深度，可以看到此时造成了错误匹配，其关联方式的鲁棒性是较差的，作者基于此，提出一种LFANet关联所有点云的方式。

img

右侧(b)展示经过作者量化后的kxk大小的frustum feature map，包含了所有需要考虑的雷达点云，大小为kxkxc，其中c=5，且radar point须从距离空间，转换到BEV像素空间。

img

LFANet结构

如上，输入为处理后的frustum feature map，得到最后的[d, vx, vy]作为r*，也就是artificial point作为可信度更高的深度值，改进了centerfusion的鲁棒性较差的劣势。

结果

  1. 在Early Fusion的改进

img

\2. 在LFANet的改进

img

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

CenterFusion

改进的下一代毫米波雷达与视觉融合方案

CenterFusion++：基于centerfusion改进的下一代毫米波雷达与视觉融合方案 的相关文章

  • 小程序 用vant-weapp van-field输入框获取不到输入值问题（已解决）

    废话不多说直接上代码 主要的解决问题的是 bind blur 61 xxx span class token operator lt span van span class token operator span field value s

  • webstorm手动更新软件

    webstorm手动更新软件 打开软件 xff0c 进入设置settings搜索Updates点击check now按弹出框内容点击 下载更新

  • vue elementUI点击按钮复制表格某列的链接

    vue elementUI点击按钮复制表格某列链接 lt el table data 61 34 gridData 34 size 61 34 mini 34 gt lt el table column type 61 34 selecti

  • vue 列表进行拖拽排序

    文章为记录项目 需引入插件vuedraggable handle 61 34 mover 34 为绑定拖拽图标的类名 xff0c 即可只能在图标上才可拖拽 lt el form item label 61 34 34 gt lt ul cl

  • vue elementui表单验证

    this refs form validateField 39 type 39 只为项目记录 这个代码为对部分表单字段进行校验的方法

  • element ui分开的开始结束日期验证

    废话不多说直接上代码 lt el form v show 61 34 showSearch 34 ref 61 34 queryForm 34 model 61 34 queryParams 34 inline 61 34 true 34

  • ant.design pro表格序号自定义，翻页也可按顺序来

    title 39 序号 39 dataIndex 39 index 39 valueType 39 indexBorder 39 width 48 hideInSearch true render text record index 61

  • ant.design pro 发布时间对应两个参数值

    title 39 时间 39 dataIndex 39 deployTime 39 valueType 39 dateRange 39 hideInSearch false render record 61 gt lt span gt re

  • 微信小程序图片水印添加

    js getCanvasOne url var mycenter 61 0 文字左右居中显示 var myheight 61 0 文字高度 const that 61 this const query 61 wx createSelecto

  • anaconda出现CondaHTTPError问题解决办法

    一 condarc xff08 conda 配置文件 xff09 Configuration Conda documentation condarc以点开头 xff0c 一般表示 conda 应用程序的配置文件 xff0c 在用户的家目录

  • 使用kalibr标定imu

    这种方法需要在ubuntu中安装matlab 本人只标定的imu 没有和摄像头联合标定 xff0c 方法和imu utils类似 xff0c 先用ros记录imu数据 xff0c 在通过kalibr来计算随机游走误差和高斯白噪声误差 1 首

  • 联合标定双目相机和imu,使用工具Kalibr

    文章目录 imu标定 xff0c 产生数据写入imu yaml中 xff0c 见下文 xff0c imu yaml文件要用于联合标定 双目相机标定 xff0c 产生数据文件用于联合标定 xff0c 文件名类似camchain homeubu

  • matlab从txt文件中提取出有效信息

    背景 从一份txt文件中筛选出有效信息 xff0c txt文件有非常多行 xff0c 依靠关键字筛选出有效行 xff0c 并从行中提取有效信息 test txt文件例如 xff1a aaa 1 2 3 valid 0 1 0 2 0 3 a

  • Python 基础 第一天

    print 34 Hello World 34 print 34 你好 xff0c 世界 34 在 Python 中以单下划线 xff08 xff09 开头命名的标识符 表示不能直接访问的类属性 xff0c 以双下划线 xff08 xff0

  • Python 基础 第二天

    import random import math 集合 xff08 set xff09 是一个无序的不重复元素序列 可以使用 或 set 函数创建集合 值得注意的是 一个空集合必须用set xff0c 使用 创建时会创建一个空字典 bas

  • Django 第六天

    Django高级扩展 静态文件 xff1a css xff0c js xff0c 图片 xff0c Json文件 xff0c 字体文件等 配置settings py xff1a STATICFILES DIRS span class tok

  • Python 爬虫 小练习

    获得某易云音乐 对应歌单下的所有歌曲的歌曲 专辑图片 歌手图片 lrc歌词 span class token keyword import span requests span class token keyword from span b

  • 免费GPU

    中国移动免费GPU资源 九天 毕昇还属于内侧阶段 xff0c 没有充值入口 没有GPU算力的同学可以体验一下 xff0c 不算广告 xff0c 纯属安利羊毛 引言 最近想跑一个模型 xff0c 但突然发现手头没有可用的算力了 然后朋友推荐了

  • 分布式 ROS PX4 GAZEBO 多机仿真 服务器-客户端模式

    这是一个目录 最终目标环境配置要求具体实施方案UAV0配置UAV1配置 执行 最终目标 实现主从机器多机仿真 xff0c 模拟真机部署 具体方案如下 xff1a 设定一台计算机为通信汇集节点 xff0c 处理所有无人机位姿 移动控制等 xf

随机推荐

  • 算法训练 最短路

    算法训练 最短路 问题描述 给定一个n个顶点 xff0c m条边的有向图 xff08 其中某些边权可能为负 xff0c 但保证没有负环 xff09 请你计算从1号点到其他点的最短路 xff08 顶点从1到n编号 xff09 输入格式 第一行

  • Ubuntu18开启ssh服务

    Ubuntu默认不会开启ssh服务 所以我们无法对Ubuntu进行远程连接 xff0c 这对Ubuntu的运维造成了很大不便 本文详细讲解如何在Ubuntu18下开启ssh服务 关键指令 root用户下 xff0c 非root用户所有指令前

  • alembic 常用命令有哪些？

    上节为大家讲解了alembic如何使用 xff1f 本节就为大家介绍一下alembic常用命令有哪些 xff1f alembic常用命令如下 xff1a 在讲这些命令用法之前 xff0c 我们先建立一个alembic demo数据库 然后再

  • Linux UIO驱动框架(一)

    文章目录 Linux UIO驱动框架1 什么是uio驱动框架2 uio驱动框架使用3 uio驱动框架实现原理 Linux UIO驱动框架 1 什么是uio驱动框架 uio全称为用户空间IO Userspace I O xff0c 是一种在用

  • maven 3.6.3 下载与详细配置图文教程(基于win10系统)

    maven下载与配置 1 下载maven1 1 apache maven官网下载链接1 2 百度云资源下载1 3 CSDN资源下载 2 配置maven环境变量3 验证maven配置是否生效4 修改 settings xml 文件 1 下载m

  • Dockerfile 深入理解

    Docker 专栏文章索引 x1f449 Docker 简介 x1f449 Docker 安装图文教程 x1f449 Docker 镜像概念及操作 x1f449 Dockerfile 深入理解 Dockerfile 深入理解 x1f680

  • 深度学习之局部连接与权值共享

    在网络中 xff0c 如果全部使用全连接网络 xff0c 则会使参数异常多 xff0c 造成计算复杂 xff0c 降低训练的效率 由此引入卷积层 xff0c 卷积层能够有效减小训练参数 xff0c 这与卷积具有的两个性质有关 结合自身经历以

  • nuScenes自动驾驶数据集：数据格式精解，格式转换，模型的数据加载 (一)

    nuScenes数据集及nuScenes开发工具包简介 文章目录 nuScenes数据集及nuScenes开发工具包简介1 1 nuScenes数据集简介 xff1a 1 2 数据采集 xff1a 1 2 1 传感器布置1 2 2 数据格式

  • 基于毫米波雷达与视觉融合的行人检测

    这篇文章通过在数据层进行毫米波雷达与相机的融合以提高行人检测效果 其不仅可以通过雷达产生ROI以减小对图像进行滑动窗口检测的数量 xff0c 提高检测速度 xff0c 同时利用雷达 xff0c 可以检测远处不明显的行人 xff0c 提高检测

  • ROS中进行大陆ARS408雷达点云的可视化及二次开发(一)

    文章目录 一 硬件准备二 驱动准备2 1 首先安装依赖 xff1a 2 2 检验是否正确安装2 3 启动雷达并检查数据 三 ROS工作环境搭建3 1 安装socket can依赖3 2 安装ars 40X开发包 四 测试五 总结二次开发 毫

  • ARS大陆毫米波雷达ROS开发包解析及二次开发（二）

    文章目录 预备知识与前期工作ARS 40X源码架构雷达数据格式及流向数据流向图雷达数据格式socket can通信格式 xff08 以雷达配置帧通信为例 xff09 关键数据介绍及格式说明cluster数据帧can messages 关键参

  • 最完整的毫米波雷达ROS开源包解析及二次开发（三）

    文章目录 滤波源码数据结构滤波的ROS类方法接口设计底层基本类接口设计ars 40x can cppradar cfg cpp amp radar cfg hppradar cfg hppradar cfg cpp 开发时的注意事项srv文

  • 多传感器融合目标检测系列：CenterFusion(基于CenterNet)源码深度解读: ：DLA34 (四)

    文章目录 一 CenterFusion与CenterNet二 CenterNet backbone 2 1 DLA34基本结构2 2 DLASeg2 3 DLASeg基本模块Basic BlockRootTreeDLA34IDAUP 三 H

  • linux 自定义服务启动失败(code=exited, status=127)

    调试步骤 xff1a 1 关闭重启策略 xff0c 可以看到更详细的报错信息 删除 service 里的Restart相关行 xff0c 再起一次服务查看报错信息 sudo systemctl daemon reload sudo syst

  • 计算机视觉中的编码-解码器结构总结（持续更新）

    文章目录 NLP领域的编码解码器结构机器学习中的编码器自动编码器 视觉领域中的编码解码器结构 编码器 解码器结构 xff1a 编码器原始输入信号转化为中间格式 xff0c 然后解码器将中间格式转化为目的信号 在NLP领域的机器翻译 摘要提取

  • nuScenes毫米波雷达点云投影至图像

    效果图 nuscenes devkit提供的点云可视化 first sample token span class token operator 61 span my scene span class token punctuation s

  • RODNet安装BUG解决

    安装rodnet最后一步时 pip span class token function install span e span class token builtin class name span 出现以下错误 xff1a ERROR C

  • 自动驾驶中多模态融合检测

    多模态目标检测的场景 单模态的目标检测领域 xff0c 尤其是基于图像的目标检测任务在各大数据集中取得了较好的效果 xff0c 其中主要分为基于CNN和基于Transformer骨干网络检测算法 xff0c 尤其是基于Transformer

  • 毫米波雷达和视觉融合的学习路线

    了解各个传感器的成像原理 xff0c 知其所以然 xff0c 同时了解每种传感器的对比及优缺点 xff0c 为什么要用这几种融合 xff0c 可以通过去看一些德州仪器的雷达原理视频 xff08 b站 xff09 xff0c 雷达工作手册等

  • CenterFusion++：基于centerfusion改进的下一代毫米波雷达与视觉融合方案

    CenterFusion 43 43 xff1a 基于centerfusion改进的下一代毫米波雷达与视觉融合方案 A frustum proposal based 3D object detection network for multi

热门标签