车载VSLAM与激光雷达方案

2023-05-16

基于VSALM在计算机视觉领域的领先技术,提供优异的视觉目标检测功能

提供前视视觉感知,环视视觉感知以及APA系统的一站式ADAS功能解决方案

基于激光与视觉检测的融合结果,覆盖更为广泛的应用场合

 

从特征点到三维轮廓乃至更高级的带有语义信息的交通标志与车道标记。 在为车辆实时定位提供3D几何信息的同时,这种多层级的3D特征的语义性内容也能够为L4自动驾驶的决策与路径规划打下良好的基础。除此之外我们的解决方案能够完成实时的、高精度的、完整的6自由度位置估计。 通过进一步融合其它定位传感器和高精地图, 我们能够提供连续的高精度车辆姿态信息。

Auto Valet Parking (AVP) 自动代客泊车,可在驾驶员下车后,控制车辆自动行驶一段距离至指定位置并自动泊车入位

融合多路毫米波雷达,超声波雷达,前视及环视高清摄像头传感器,实时感知车辆周边环境,实现障碍物与路径识别

 

某款车载芯片:

APEX进行处理,而计算方面的操作通过4个A53进行。常见图像处理操作如Sobel,Canny等在其中均有实现,对应常用的opencv 中使用vsdk进行一些相应的图像操作,如基础操作cv::UMat cv::Mat -> vsdk::UMat vsdk::Mat;但需要注意当使用opencv中的相应操作时,S32V使用的是ARM A53核,这样会使处理效率变得非常低,所以能使用vsdk进行的图像操作尽量使用vsdk,尽可能少的使用opencv

 

激光雷达与摄像头的融合

激光雷达与摄像头融合,其实相当于是激光雷达发挥激光雷达的优势,摄像头发挥摄像头的优势,他们在某些地方是做得不够好,需要两个传感器甚至多个传感器信息进行底层的融合。

在融合的时候,首先第一步,标定。比如说左上角(上图),我看到凳子,左下角激光雷达也看到的是凳子,那么我通过标定的方式告诉它,其实两个是同一个物体。

其实摄像头发现同一个物体是非常容易的,比如做人的跟踪或车的跟踪。对于激光雷达而言, 要去识别前后帧是否同一辆车和同一个行人是非常困难的。

如果可以通过摄像头告诉它前后两帧是同一个物体,那么通过激光雷达就可以知道物体在这前后两帧间隔内:运动速度和运动位移是多少。这是非常关键的,因为只有做运动物体的跟踪才能做一些预测。


算法

由相机捕获的图像数据由(U,V)表示,激光雷达捕获的3维点阵云用(X,Y,Z)表示,我们的目标是建立一个转化矩阵M,将3维点(x,y,z)映射到2维点(u,v),即:


矩阵(fu,fv,u0,v0)是相机参数,fu以及fv是XY轴方向尺度因子(水平方向和垂直方向的有效焦距),u0,v0是像平面(image plane)的中心点,又称主点坐标。R为旋转矩阵,t为平移矢量。

根据不同姿态下定标板平面,可得到一系列的线性方程,解得标定参数。
ros中的联合校准包

这个包用于Velodyne激光雷达和相机联合校准,适用于VLP-16及以上,依赖于aruco_ros包和轻微修改的aruco_mapping包
1 构建

clone代码从https://github.com/ankitdhall/lidar_camera_calibration.git,把该代码仓库, dependencies/aruco_ros and dependencies/aruco_mapping 目录放到 path/to/your/ros/workspace/src , 执行下面的命令:

catkin_make -DCATKIN_WHITELIST_PACKAGES="aruco_ros;aruco_mapping"
catkin_make -DCATKIN_WHITELIST_PACKAGES=""

如果,没有安装velodyne包需要先安装该包,make aruco_ros时首先要先安装aruco_msgs和aruco
2 开始

为了相机与激光雷达进行联合校准,两个配置文件需要进行修改,配置文件在lidar_camera_calibration/conf目录下。

文件格式:

    image_width image_height
    x- x+
    y- y+
    z- z+ //去除点阵云中不想要 的点
    cloud_intensity_threshold
    number_of_markers
    use_camera_info_topic? //是否使用camera_info topic
    fx 0 cx 0
    0 fy cy 0
    0 0 1 0

    MAX_ITERS

    initial_rot_x initial_rot_y initial_rot_z

3 使用

通过如下命令进行启动:

roslaunch lidar_camera_calibration find_transform.launch

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

车载VSLAM与激光雷达方案 的相关文章

  • VSLAM框架:ORB_SLAM2采用ROS Bag获取数据

    转载自 xff1a https blog csdn net weixin 45929038 article details 114240409 VSLAM框架 xff1a ORB SLAM2采用ROS Bag获取数据 JasonLi0012
  • vslam流程框架介绍

    平常扫地机产品上经常听说使用了vslam技术 xff0c 那么这个vslam到底是什么呢 xff0c 我们下面一起来看看 vslam是什么 xff1f VSLAM 即 Visual Simultaneous Localization and
  • VSLAM框架:ORB_SLAM2采用ROS Bag获取数据

    ORB SLAM2采用ROS Bag获取数据 前言一 ROS bag数据1 ROS bag简介2 获取数据集3 查看数据集信息 二 配置文件1 配置ros文件2 配置内参文件三 启动节点1 回放ROS bag数据集2 深度相机节点 前言 之
  • VIO/VINS/VSLAM问题定位流程与思路

    首先假设读者是了解基础VSLAM xff0c 了解VIO基础 至少要会标定 xff0c 调过几个开源系统的 先说一下双目的VINS FUSION xff0c 大部分问题都是基线造成的问题 xff0c 简单点说就是如果使用较短的基线如5cm
  • 车载VSLAM与激光雷达方案

    基于VSALM在计算机视觉领域的领先技术 xff0c 提供优异的视觉目标检测功能 提供前视视觉感知 xff0c 环视视觉感知以及APA系统的一站式ADAS功能解决方案 基于激光与视觉检测的融合结果 xff0c 覆盖更为广泛的应用场合 从特征
  • vslam

    目录 隐藏 1 SLAM 介绍 1 1 什么是SLAM 1 2 SLAM与视觉里程计 xff08 Visual Odometry xff09 1 3 SLAM和SfM 2 主流开源SLAM方案 2 1 视觉传感器 2 2 激光传感器 2 3
  • VSLAM框架对比

    xff08 一 xff09 单目VSLAM特点介绍 xff1a 1 ORB SLAM2 工作流程 xff1a 主要模块 xff1a 前端 xff1a ORB特征提取匹配 xff0c 估计相机位姿 xff1b 根据跟踪地图点数的减少选择关键帧
  • vslam介绍

    目录 隐藏 1 SLAM 介绍 1 1 什么是SLAM 1 2 SLAM与视觉里程计 xff08 Visual Odometry xff09 1 3 SLAM和SfM 2 主流开源SLAM方案 2 1 视觉传感器 2 2 激光传感器 2 3
  • vslam: 扫盲之旅

    ICCV研讨会 xff1a 实时SLAM的未来以及深度学习与SLAM的比较 http blog csdn net qq 18661939 article details 51919329 The Future of Real time SL
  • vslam从入门到入土:在ubuntu18中使用D455运行VINS-FUSION

    1 ROS安装 建议使用ROS官方网的步骤 melodic Installation Ubuntu ROS Wiki 一定要看清楚版本 ubuntu18 是 melodic 2 ceres安装 2 1依赖 sudo apt get inst
  • vSLAM重读(4): OKVIS--KeyFrame-based Visual-Inertial SLAM

    1 摘要 视觉传感器与IMU传感器互补 61 61 gt VIO系统 xff1b 由最初的以滤波为主题 xff0c 现在逐渐转换为非线性优化来实现SLAM xff1b 提出一种方法将视觉信息与IMU测量数据紧密结合 xff0c 将IMU的误
  • 鱼眼+红外+IMU+VSLAM+SLAM

    一 目的 1 想知道 xff1a 二 参考 1 一分钟详解鱼眼镜头标定基本原理及实现 https mp weixin qq com s VyxoTaYtYPB Bfh3JCXl1A 三 注意 四 操作
  • Vslam方案+源码,轻松搞定视觉slam

    原创 xff1a 涛涛CV 涛涛CV 今天 关注涛涛CV xff0c 设为星标 xff0c 更新不错过 VSLAM方案 目前基于视觉的SLAM技术有多种组合形式 xff08 见下表 xff09 方案 特点 TOF 成本高 xff0c 分辨率
  • 欢迎走进VSLAM

    1 开启新技术之门 SLAM xff0c 全称叫做Simultaneous Localization and Mapping xff0c 中文叫做同时定位与建图 SLAM技术发展到如今已经几十年 xff0c 目前以激光雷达作为主传感器的SL
  • ORB-SLAM2:一种开源的VSLAM方案(译文)

    摘要 xff1a ORB SLAM2是基于单目 xff0c 双目和RGB D相机的一套完整的SLAM方案 它能够实现地图重用 xff0c 回环检测和重新定位的功能 无论是在室内的小型手持设备 xff0c 还是到工厂环境的无人机和城市里驾驶的
  • VSLAM与VIO的3D建图,重定位与世界观综述

    作者 紫川Purple River 编辑 汽车人 原文链接 xff1a zhuanlan zhihu com p 592225457 点击下方卡片 xff0c 关注 自动驾驶之心 公众号 ADAS巨卷干货 xff0c 即可获取 点击进入 自
  • AirSim使用--vslam

    声明 xff1a 本文写于2020年7月 xff0c 只对当时的代码版本有效 0 下载zip 001 zip 002 zip 003等分卷文件时 xff0c 可以使用 xff1a ubuntu 如何解压 zip 001 zip 002 zi
  • ubuntu 安装Pangolin 过程

    前言 大家好 好久没有写技术博客了 在工作学习中遇到一些问题及解决方法 希望能帮助到大家 Pangolin 想必大家都非常熟悉了 这个是一款开源的OPENGL显示库 可以用来视频显示 而且开发容易 代码我们可以从Github 进行下载 ht
  • windows下编译、配置ceres库(保姆级教程)

    文章目录 前言 一 cmake安装 二 ceres 依赖库的下载 2 1 依赖库的下载 2 2 编译前准备工作 2 2 1 创建vs工程的输出文件夹 2 2 2 创建编译库的输出文件夹 2 3 编译Eigen库 2 3 1 编译Eigen3
  • 【语义】如何使用PointNet训练点云数据和点云分割(初探)

    大家好 今天给大家介绍下cvpr2017 一篇文章Pointnet 语义分割 该网络基于tensorflow 写的 非常轻巧方便 但是文章和代码有一定出入 在训练过程中出现过拟合现象 大概训练了10个小时多 1 需要准备的东东 1 Ubun

随机推荐