程序员经验分享-hwhale

BEV（Bird’s-eye-view）三部曲之三：demo和验证

2023-05-16

1. PYVA: Projecting Your View Attentively (CVPR 2021)

  • 数据集：KITTI
  • paper，github，35 FPS
  • 输入：单张摄像头前向图
  • 输出：road layout estimation and vehicle occupancy estimation

在这里插入图片描述

目标检测

在这里插入图片描述

道路分割

在这里插入图片描述

2. FIERY (ICCV 2021)

github
主页
数据集：NuScenes
输入：6个视角的相机图像+内参+外参
模型推断输出示意图：
在这里插入图片描述

3. HDMapNET（ ICRA 2022）

暂时没有预训练好的模型，但可以可视化其如何如何处理标注

  • paper，github，主页，知乎
  • 输入：多摄像头or/and 雷达
  • 输出：HD语义地图分割
  • 数据集：NuScenes
    其处理结果如下：
    在这里插入图片描述
    在这里插入图片描述

4. Lift, Splat, Shoot (ECCV 2020，NVIDIA)

  • paper，github，主页， 35 hz on a Titan V
  • 输入：6个摄像头
  • 输出：语义分割，道路和交通参与者
  • 数据集：NuScenes

模型推断结果的例子：
在这里插入图片描述
在这里插入图片描述

5. 一个比赛：nuScence 3D Camera-Only Detection

主页

请添加图片描述

5.1 BEFormer: 基于Transformer的BEV编码器

BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers

  • paper，github，中文blog，中文论文，测速V100上，R101-DCN，input size 900X1600，大约2FPS

  • 输入：多视角相机图像

  • 输出：3D目标检测/语义分割

  • 论文汇报的与带LiDAR方法对比：与基于lidar的基线性能相当; 对速度有很好的估计结果.
    请添加图片描述

  • 衡量标准：

    • mAP：根据地平面上的中心距离计算，而非IoU上的3D IoU
    • ATE: 平移
    • ASE: 尺度
    • AOE：方向
    • AVE：速度
    • AAE：属性
      请添加图片描述

  • 一些细节：

    • 主干网络：ResNet-101 / VoVnet99
    • BEV特征的中心默认对应自我车的位置
    • 鸟瞰图询问query Q为一组网格形状的可学习参数，维度为HxWxC，H, W为BEV的高和宽，一一对应到BEV平面中的网格单元区域。大小为200x200，感知范围[-51.2m, 51.2m].
    • 空间交叉注意力机制：
      • 将BEV空间上的每个query向量提升到一个柱状查询向量
      • 采样 N r e f N_{ref} Nref​个3D参考点，将其投影到二维视图（需要知道相机投影矩阵），对于一个BEV query，只能命中部分视图。（这里的坐标系为以本车为原点的三维坐标系，根据BEV的坐标和分辨率获取真实的x,y, 通过锚点采样得到z）
      • 将这些命中视图中的二维点作为参考点，围绕参考点从命中视图中抽取特征
      • 对这些采样的特征进行加权求和，作为空间交叉注意力的输出.
    • 时间注意力机制：融合t时刻的BEV query向量和t-1时刻的历史BEV特征
    • BEV特征的应用：拿到的是HxWxC的通用的二维特征
      • 对于3D检测任务，设计DETR的检测head，预测三维检测框和速度，无需NMS
      • 对于地图分割，采用Panopic SegFormer作为地图分割头

5.2 其它名次的算法

  • MV-FCOS3D++ 基于MMDetection3D，无具体的github代码
  • FCOS3D-MVDet3D 基于MMDetection3D，无具体的github代码
  • DETR4D ：无任何描述
  • DMVT*：无任何描述
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

BEV

Bird

EYE

View

Demo

BEV（Bird’s-eye-view）三部曲之三：demo和验证 的相关文章

  • CouchDB“加入”两个文档

    我有两个看起来有点像这样的文档 Doc id AAA creator id data DataKey id credits left 500 times used 0 data id AAA 我想要做的是创建一个视图 它允许我传递 Data

  • 在屏幕上滑动手指激活按钮，就像按下按钮一样

    如果我的标题不够清楚 我会详细解释一下 假设我们有一个充满多个按钮 10 多个 的屏幕 我们按下一个按钮 激活 onTouch onClick 如果我们现在移动手指而不抬起它 我希望它激活它滑过的任何其他按钮 在这种特殊情况下 我希望当您滑

  • ViewPager内部的TextView拦截触摸事件

    我有一个ViewPager包含两个片段 在任何片段中我都可以触摸一个地方 滑动即可切换到另一个地方fragment 其中一个片段包含一个列表 列表中的项目包含一项TextView和一个ImageView 问题是 如果您是从点击开始拖动的Im

  • 如何通过单击 MainFrame 内的按钮来更改 MFC 视图

    我想通过单击窗口内的按钮来更改呈现的视图像这样 https i stack imgur com 3IA2o png 我的项目设置 我制作了一个没有文档 视图支持的 MFC 项目 SDI 我在设计器中又创建了两个视图并向它们添加了类 新的视图

  • Laravel 5 Blade 在出现错误时显示空白页而不是抛出异常

    在 laravel 4 中 当你尝试渲染一个不存在的视图时应用程序 视图或者带有未定义变量的视图 laravel 将抛出异常或显示有助于调试的错误 我全新安装了 laravel 5 0 13 并且在对刀片模板进行故障排除时遇到了困难 该模板

  • 何时在模态视图控制器上设置父/呈现视图控制器？

    我正在展示一个模态视图控制器 在该模态视图控制器中viewDidLoad 我似乎找不到任何对父级 VC 的引用 parentViewController presentingViewController等等 如果尚未设置 我该如何获得对它的

  • 根据文档，Django 1.8spectdb 命令看不到 PostgreSQL 视图

    我有一个带有 PostgreSQL 数据库的 Django 1 8 应用程序 我从命令行运行 django inspectdb 来检查模型的视图 但视图不会显示在模型输出中 这是版本输出 17 36 python well manage p

  • Grails：如何更改默认视图位置？

    我有控制器AdminTagController 默认情况下视图将位于 adminTag文件夹 是否可以将此控制器的默认文件夹更改为 admin view 我可以为每个方法指定视图 但这并不酷 谢谢 可以用以下命令更改它拦截器后 http g

  • 扩展 EditText 以赋予其额外的“默认”功能的正确方法是什么

    我想知道是否可以向 EditText 添加功能 以便当我在布局 xml 中包含新扩展的字段时 我不必向 Activity 类添加任何代码以使其以特定方式运行 例如 我想创建一个 EditPhone 字段 它只是一个 EditText 它具有

  • Cocoa 自动布局约束 - 以编程方式填充可变数量的视图

    我希望能够向超级视图添加新视图 但使它们彼此之间保持恒定的垂直距离 为此 我尝试以编程方式为每个视图设置约束 但我不知道如何做到这一点 问题是我事先不知道视图的数量或相对位置 有没有一种方法可以以编程方式为每个视图设置约束 以便无论它们相邻

  • Ember 不更新模型更改的视图

    该小提琴重新创建了入门套件 并带有可更改模型的额外按钮 http jsfiddle net UjacC 1 http jsfiddle net UjacC 1 但是 当单击 更改 时 数组会更改 但视图不会更新 为什么

  • java.lang.IllegalStateException：无法为 X 创建层 - 使用硬件层时

    我在自定义视图上使用硬件层 以便在为其 Alpha 制作动画时获得更好的性能 在我的崩溃记者上看到这次崩溃 Fatal Exception java lang IllegalStateException Unable to create l

  • 如何在视图中调用 Grails 服务？

    简单的问题 我有一个服务类 比方说helpersService 和一个方法def constructURI params 如何从模板视图调用此方法 我尝试了以下代码但没有成功 img src 但我得到以下结果 No signature of

  • 让按钮更容易点击

    我有一个按钮 在某些手机上由于尺寸太大而很难点击 但让它变大会破坏布局 可以向视图解释它有一个比其可见区域更大的 点击框 吗 不确定这是否有帮助 如果您使用没有背景的 ImageButton 并设置 Padding 值 您的按钮将具有更大的

  • 如何在rails3中渲染编辑视图并发布Flash消息

    在我的帐户控制器中 我想在保存更改后显示 渲染 redirect to 编辑视图并显示闪存通知 def update account Account find params id respond to do format if accoun

  • 使用控制器通过 codeigniter 处理返回的自定义 css 和 javascript 文件

    我正在开发一个 php codeigniter 项目 我正在考虑创建一个专门用于处理返回自定义 css 和 javascript 文件的控制器 在之前的项目中 我在视图文件的标头中包含了外部 CSS 和 JS 文件 但它们本质上必须是静态的

  • 如何将变量传递给 django 中的所有模板？ [复制]

    这个问题在这里已经有答案了 我正在尝试将变量 浏览器变量 传递给我的应用程序中的所有模板 关于如何让它发挥作用有什么建议吗 View def browser request primary cat list Categories objec

  • 如何创建像谷歌位置历史记录一样的Android时间轴视图？

    我想设计像谷歌位置历史这样的用户界面 我必须为我正在使用的应用程序复制此 UIRecyclerView 每行都是水平的LinearLayout其中包含右侧的图标 线条和视图 该线是一个FrameLayout具有圆形背景和半透明圆圈Views

  • 设置 ViewGroup 的最大宽度

    如何设置 ViewGroup 的最大宽度 我正在使用一个Theme Dialog然而 当调整大小到更大的屏幕时 它看起来不太好 它也有点轻量级 我不希望它占据整个屏幕 I tried 这个建议 https stackoverflow com

  • 如何在 Visual Studio 2008 中设置默认 XAML 视图

    在 Visual Studio 2008 中 当您向 WPF 应用程序项目添加新的 XAML 窗口时 您获得的默认视图是 拆分视图 其中可视化设计器和 XAML 代码在同一文档中显示在另一个之上 我更喜欢另一种视图 您可以通过双击 设计 或

随机推荐

热门标签