了解CV和RoboMaster视觉组(二)视觉在各兵种中的作用

2023-05-16

--NeoZng【neozng1@hnu.edu.cn】

2.视觉在各兵种中的作用

2.1.装甲板识别(步兵、英雄、无人机)

  • 由于机器人上安装的图传模块到操作手看到的第一视角的延迟加上操作手反应速度的延迟,操作手几乎很难手动瞄准高速运动的机器人上的装甲板。因此,视觉组在这三个兵种的研发上主要是负责装甲板的识别算法,通过处理图像找到相机视野范围内的装甲板(相机一般安装在云台上,和枪口平行放置并指向同一个方向,类似瞄准镜),进而向下位机(STM32等用于控制的MCU,microcontroller unit,单片机)发送此装甲板的相对枪口的角度数据,电控根据此数据控制电机自动转向目标装甲板,实现装甲板的自动打击。

    自动跟随装甲板效果

  • 随着自瞄算法的不断升级进步,RoboMaster的赛场上也出现了“反自瞄”,其中的代表之一就是“小陀螺”。机器人在小陀螺模式下,云台和底盘处于分离状态,并且底盘绕运动中心高速自旋。在这种情况下,视觉识别的难度会大大上升,一是自瞄很难跟上装甲板的高速转动,基本上我方机器人的云台运动会滞后于装甲板的运动,且难以预测装甲板的轨迹;二是即使跟随到一个装甲板后,那个装甲板随着底盘的转动很快消失在视野中,此时就要锁定另一块装甲板,使得云台会来回转动,无法稳定,导致弹丸命中率下降,从操作手的第一界面看来,整个画面不断晃动带来晕眩感,体验极差。

    因此,反“小陀螺”算法出现了:通过设计算法,识别对手的机器人处于小陀螺状态,然后让云台对准敌方机器人的中心位置而不再跟随装甲板移动。由于机器人处于“小陀螺”状态时基本上是匀速转动,这样就可在适当的时机开火(可以采用预测算法预测装甲板何时运动到云台所对准的位置),提高命中率。

    当然,随着反”小陀螺“算法的出现,赛场上又开始出现反‘反“小陀螺“ ’算法如变速小陀螺、超快小陀螺(舵轮步兵)。快进到反反反反反小陀螺(禁止套娃)因此,今后必定需要研发出鲁棒性(健壮性)和泛化性能更好的算法,才能应对愈发“卷”的比赛啊~

    处于小陀螺运动下的步兵机器人

2.2.能量机关(步兵)

  • 在比赛场地的中央有一个风车形状的结构,就是能量机关。能量机关的激活点距能量机关7m。我们需要用小弹丸连续击中五片随机亮起的扇叶的末端装甲板才可以激活能量机关。激活小能量机关能够为队伍带来50%的攻击力增益,大能量机关能为队伍提供100%的攻击力增益和50%的防御增益。由于在操作手的第一视角看来五片扇叶的间距非常小,难以通过鼠标移动来进行打击,并且小能量机关是匀速旋转的状态,大能量机关更是0.785sin(1.884t)+1.305 的角速度旋转,操作手很难预测其运动轨迹。这便需要视觉组设计算法来识别未被击打过的末端装甲板并对其实现自动瞄准,找准时机控制子弹的发射从而实现自动击打能量机关。

  • 除了激活我方的能量机关,我们还可以在对手激活能量机关的过程中干扰对手。倘若击打了错误的扇叶(如已经击打过的扇叶或尚未亮起的扇叶),能量机关则会重置,回到初始状态。因此,我们可以进入敌方半场,通过识别对手已经激活的扇叶并自动瞄准它,发射子弹击中错误的装甲板进而触发重置以干扰对手的激活过程。

    正在激活能量机关的步兵机器人

2.3.哨兵

  • 哨兵机器人被悬挂在基地前方的导轨上往复运动,是场上的一个全自动机器人,其移动、搜索目标、打击敌人都依赖于其自主决策。它相当于基地的防御塔。编写一个优秀的感知程序和决策程序,是发挥哨兵机器人威力的关键。哨兵机器人的云台会不断地转动使得上方安装的相机能够扫描到它附近的每一个角落,一旦识别到敌方的机器人便能立即锁定对手,随后根据其决策算法判断是否开火。

  • 我们还可以让在哨兵机器人遭到攻击时进入快速机动的规避状态,在导轨上进行随机地不规则动作以躲避敌方的弹丸并干扰敌方机器人搭载的预测算法。

  • 在前哨站尚未被击毁时,哨兵机器人处于无敌状态,这时我们可以让哨兵机器人保持固定以提高自己的命中率,一旦前哨战被摧毁,立即启动哨兵机器人的底盘,进入巡逻状态。

    巡逻中的哨兵机器人

2.4.工程

  • 工程机器人在本赛季的任务主要有:抓取矿石、兑换矿石和救援阵亡机器人。这里的每一步都可以利用视觉识别以完成自动化。

  • 在抓取矿石的时候,可以在工程机器人的机械爪上安装相机、测距传感器,再编写相关的算法来识别矿石,实现自动对位和夹取。在技术交流中,上交、哈工大、深圳大学等惊艳全场的“空接矿石”依赖的就是自动识别矿石的算法。在兑换时,根据兑换站上的一些图像特征,可以定位扫描矿石窗口的位置,来快速地完成兑换。

  • 在我方机器人阵亡后,可以通过两种方式复活阵亡机器人:工程机器人将其拖回基地旁的补血点或是让工程机器人所携带的复活卡(RFID射频卡)和其他机器人上的场地交互模块接触(被称作“刷卡复活”)。在这两种情况下,都可以通过编写视觉算法来实现快速准确地救援。我们可以在工程机器人的救援机构(夹爪、电磁铁)旁安装相机,通过确定一些方法阵亡机器人上救援结构(环、柱、磁铁等)的位置让工程机器人自动套牢,随后就可以把阵亡机器人抬走了。

正在夹取矿石的工程机器人

2.5.雷达

  • 雷达是本赛季新增的兵种,被放置在场边的一处高地上,拥有全局视野。利用目标检测算法和三维重建,可以定位敌方机器人在场上的位置。随后,我们能利用这些信息为我方制作一张实时更新的“小地图”,掌握对方机器人的动向,以帮助我方操作手进行战术决策,做到知己知彼而百战不殆。

  • 雷达在将全局数据处理后,还能通过多机通信功能和己方的自动机器人如哨兵、自动步兵进行通信,相当于为它们开了一双“天眼”。这无疑是极大地增强了这些自动单位的感知能力和决策能力(我愿称之为云计算!),使得机器人不再受到边缘计算平台计算能力潺弱的限制,让算法火力全开,也让我们离全自动机器人战队又更近了一步。

    雷达系统检测出了场上所有机器人的位置

2.6.自动步兵

  • 自动步兵同样是本赛季新增的兵种。当不为步兵机器人配置操作手时,可以将此机器人配置为自动步兵。自动步兵的所有属性都高于普通步兵机器人,其底盘功率、枪口热量上限、冷却速度、血量上限、弹丸射速都相当于同级的步兵机器人选择了所有类型的升级加点,甚至更多,是当之无愧的“六边形战士”。

  • 超高的属性值便意味着极大的开发难度。由于没有操作手,机器人进行的所有移动、攻击等动作都需要自主决策。虽然弱AI(在一个特定的问题上能够取得比人类更好的成绩)在特定领域已经击败人类,但是强AI(拥有各方面的智能)的诞生也许还为之过早。自动步兵便算是向强AI探索的一个尝试

  • 为了知道自己“在哪里”,自动步兵需要搭载SLAM(Simultaneous Localization And Mapping)系统以帮助自己构建整个地图的信息;为了能够自己决定“怎么做”,自动步兵要配备自主决策系统以确定当下应该执行的动作;为了知道要“往哪走”,自动步兵要能够进行路径规划...... 总之,这是一个大有可为,上限极高的研发方向。

    由DJI承办的RMUA(RoboMaster Uniersity AI Challenge)赛事便是一项关于全自动机器人对抗的比赛,自动步兵的规则引入也是由此而来的。若要了解更多,请访问RoboMaster ICRA RMUA。

    RMUA赛场:全自动机器人四处搜索目标

    图片稍后补上​!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

了解CV和RoboMaster视觉组(二)视觉在各兵种中的作用 的相关文章

  • 【RoboMaster】我是这样搞定第一次单目相机测距的

    之前在做一个单目测距的小项目 xff0c 大概需要就是用单目相机 xff0c 对一个特定的目标进行识别并测算相机与该目标的距离 所以便去网上找了一堆教程 xff0c 这里给大家总结一下 xff0c 希望给小白们一个参考 首先是基本需求了 x
  • robomaster视觉规则细谈

    目录 攻击与检测 弹丸参数 增益点增益 升级效果 击打检测 涂装要求 裁判系统 机器人端各模块 赛事引擎各部分 客户端 服务器 能量机关 小能量机关 大能量机关 算法归纳 攻击与检测 弹丸参数 如图所示 xff0c 赛场中我们使用的弹丸有两
  • RoboMaster视觉教程(0)绪论

    背景 大四毕业了 xff0c 想着大学四年也需要总结一下 就从RoboMaster这个比赛写起吧 我是大二参加的比赛 xff0c 做视觉识别部分 当时的想法很简单 xff0c 因为很喜欢Linux不想焊板子调电控就参加了视觉部分 xff08
  • ROBOMASTER机甲大师赛视觉组学习方案

    ROBOMASTER机甲大师赛视觉学习方案 视觉技能学习踩坑硬件平台环境配置个人修为坑 机甲大师 xff08 RoboMaster xff09 是由大疆创新 xff08 DJI xff09 的创始人汪滔发起并承办 由共青团中央 全国学联 深
  • RoboMaster视觉教程(1)摄像头

    观文有感 之 RoboMaster视觉教程 xff08 1 xff09 摄像头 闲来垂钓碧溪上 今天钓到一篇RM视觉摄像头的好文 xff0c 记录一下笔记 xff1a 文章目录 观文有感 之 RoboMaster视觉教程 xff08 1 x
  • 了解CV和RoboMaster视觉组(一)摘要

    NeoZng neozng1 64 hnu edu cn 1 摘要 在阅读本文之前 xff0c 你需要有计算机科学的基本知识并至少掌握一门编程语言 xff0c 同时对robomaster比赛规则和过程有大致的了解 若只是希望知道视觉组的基本
  • 了解CV和RoboMaster视觉组(五)滤波器、观测器和预测方法

    neozng1 64 hnu edu cn 5 3 滤波器 观测器 估计器和预测方法 这些装置之间的区别在于面对不同场景时候的不同解释 xff08 是否考虑信号的统计学特性 随机特点 参数是否变化等 xff09 滤波器在信号与系统中的定义为
  • 了解CV和RoboMaster视觉组(五)滤波器、观测器和预测方法:自适应滤波器

    neozng1 64 hnu edu cn 自适应滤波 自适应滤波以前述的wiener filter为基础 xff0c 这里我们也从统计与优化和控制理论两个角度来介绍它 xff0c 顺着上一篇介绍维纳滤波器的文章的思路继续进行推导 统计与优
  • 了解CV和RoboMaster视觉组(五)运动建模与预测

    neozng1 64 hnu edu cn 5 3 2 预测方法 运动预测是自瞄击打装甲板的关键一步 xff0c 如果没能预测目标的移动 xff0c 那么我们的解算输出用于只会跟在目标的屁股后面 xff0c 使得打出的弹丸始终落后于目标 x
  • ROBOMASTER机甲大师赛视觉组学习方案

    ROBOMASTER机甲大师赛视觉学习方案 视觉技能学习踩坑硬件平台环境配置个人修为坑 机甲大师 xff08 RoboMaster xff09 是由大疆创新 xff08 DJI xff09 的创始人汪滔发起并承办 由共青团中央 全国学联 深
  • 【Robomaster-ICRA-AI挑战赛跳坑篇】(二、TX2刷机)

    TX2刷机与程序下载 TX2安装在步兵车上作为机载计算机使用 xff0c 跑上层代码 xff0c RoboRTS代码托管在github上 xff1a https github com RoboMaster RoboRTS xff0c 目前一
  • robomaster麦轮运动解算

    1 资源与代码 1 1 参考文章 本文主要参考的三篇文章如下 xff1a 麦轮运动特性分析 xff1a https mp weixin qq com s biz 61 MzI3MTIyMjQwNQ 61 61 amp mid 61 2247
  • Robomaster上位机视觉摘要——比赛规则篇

    本文是笔者多日来总结的2023赛季中针对上位机组的比赛规则摘要 xff0c 力求一文让你看懂上位机在赛场中的飒爽身影 目录 电力元件 电池 遥控器 激光 涂装 机器人 飞镖 雷达 空中机器人 工程机器人 哨兵机器人 英雄与步兵机器人 视觉应
  • Robomaster云台,底盘,陀螺仪校准

    文章目录 前言一 云台校准二 底盘校准三 陀螺仪校准 前言 本文主要介绍了Robomaster云台 xff0c 底盘 xff0c 陀螺仪怎么校准 一 云台校准 1 将开关 S2 和开关 S1 都拨到最下面 2 将两侧拨杆打成内八字 xff0
  • RoboMaster怎么设计新步兵悬挂

    流程 xff1a 明确需求 gt 提出可量化目标 gt 方案提出与评估 gt 细化方案 gt 任务分配 gt 画图设计 gt 图纸提交与验收 gt 加工 gt 装配 gt 机械调试 需求 xff1a 性能优越的悬挂 目标 xff1a 1 任
  • 【RoboMaster】舵机驱动&蓝牙模块教程

    本文是为参加2021赛季北京理工大学机器人队校内赛所写的简单教程 xff0c 意在帮助参赛选手快速了解校内赛所需模块的使用方法 xff0c 以及其与薪火培训知识的联系 舵机驱动 硬件接线 舵机是由直流电机 减速齿轮组 传感器和控制电路组成的
  • RoboMaster视觉 深度相机(1):Ubuntu20.04上安装Intel D435深度相机SDK与ROS

    RoboMaster视觉 深度相机 xff08 1 xff09 xff1a Ubuntu20 04上安装Intel D435深度相机SDK与ROS 1 安装RealSense SDK 先去下载 librealsense 可以在GitHub下
  • RoboMaster机器人运行教程(一)

    1 环境配置 系统 xff1a ubuntu16 04 xff0c 安装ROS 2 基础学习 需要C 43 43 和python基础 xff0c 和ROS的基础知识 xff0c 网上有很多教程 xff0c 推荐知乎大佬教程 xff1a 我的
  • RoboMaster机甲大师比赛入门?我们从STM32开始!

    同步博客地址 xff1a 从STM32开始的RoboMaster生活 xff1a 入门篇 项目 amp 教程仓库 xff1a STM32 RoboMaster 1 0 STM32是什么 1 1 定义 ST 43 M 43 32 61 STM
  • RoboMaster机甲大师:裁判系统服务器搭建助手(RMServer Aid)

    RoboMaster机甲大师 裁判系统服务器搭建助手 RMServer Aid 更新 2022 03 28 写在前面 使用教程 软件简介 软件下载 软件安装 软件使用 打开软件 首次使用 1 组建局域网 2 配置RM环境 3 启动RM服务

随机推荐

  • centos7中mysql安装

    环境 xff1a centos7 xff08 阿里云vps xff09 mysqld 5 7 27 先检查系统是否装有mysql xff0c 如果返回空值 xff0c 说明没有安装MySQL xff1b root 64 localhost
  • 树莓派3B首次安装

    下载系统 xff1a 树莓派官网https www raspberrypi org downloads raspbian 从该系统下载相关的镜像文件 xff0c 我这里用的是 2017 09 07 raspbian stretch lite
  • LightPC: Hardware and Software Co-Design for Energy-Efficient Full System Persistence(论文阅读翻译)

    xff08 注 xff1a 课程作业要求 xff0c 机翻自己看的 xff09 Abstract 我们提出了LightPC xff0c 一种轻量级的持久性中心平台 xff0c 以使系统对电源故障具有鲁棒性 LightPC由硬件和软件子系统组
  • LINUX 常用命令

    LINUX 常用命令 1 cd命令 这是一个非常基本 xff0c 也是大家经常需要使用的命令 xff0c 它用于切换当前目录 xff0c 它的参数是要切换到的目录的路径 xff0c 可以是绝对路径 xff0c 也可以是相对路径 如 xff1
  • Linux 下安装 WordPress

    Linux 下安装 WordPress 1 下载 WordPress wget i https cn wordpress org wordpress 5 0 3 zh CN zip 2 解压 wordpress 5 0 3 zh CN zi
  • 注册表操作,reg脚本简单编写

    注册表操作 xff0c reg脚本简单编写 添加项 Windows Registry Editor Version 5 00 HKEY CURRENT CONFIG System CurrentControlSet SERVICES TSD
  • EUI-64格式生成

    EUI 64 IEEE EUI 64地址表示有一个用于网络接口寻址的新标准 在IPV6中 xff0c 无状态自动配置机制使用EUI 64格式来自动配置IPV6地址 无状态自动配置是指在网络中没有DHCP服务器的情况下 xff0c 允许节点自
  • Git使用

    Git使用 生成RSA密钥对 ssh keygen t rsa C email t 指定生成的加密方式 C 添加注释 xff0c 一般来说是邮箱 注 xff1a 如果指定了文件名字为github rsa xff0c 需要配置config 内
  • maven 常用镜像仓库

    maven 常用镜像仓库 lt mirror gt lt id gt alimaven lt id gt lt mirrorOf gt central lt mirrorOf gt lt name gt aliyun maven lt na
  • 面向对象的语言主要有哪些

    面向对象程序设计 Object Oriented Programming xff0c OOP 的实质是选用一种面向对象程序设计语言 OOPL xff0c 采用对象 类及其相关概念所进行的程序设计 主要有Smalltalk Eiffel C
  • Python如何自制包、如何安装自己的包并导入

    首先科普一下包和模块的概念 xff1a 在Python中 xff0c 包是一个包含多个模块的目录 xff0c 而模块则是一个单独的文件 一个包可以包含多个模块 xff0c 也可以包含其他的子包 当一个目录下面有一个 init py文件时 x
  • 使用OpenFeign代替RestTemplate来请求接口

    在使用RestTemplate来调用接口服务的时候 xff0c 需要写一个调用地址的参数 xff0c 这样做不太好管理接口地址 xff0c OpenFeign就提供了一个比较好的管理方式 xff0c 类似于写一个Mapper的接口 xff0
  • 手把手教你如何一键备份和恢复微信聊天记录

    相信大家的聊天记录都非常重要 xff0c 怎么能说没就没 xff01 xff01 今天就分享一个备份聊天记录的方法 备份聊天记录 首先在电脑版微信上 xff0c 点击左下角 三条横杠标志 按钮 xff0c 选择 备份与恢复 在弹出的 备份与
  • MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction论文翻译

    机翻的 这篇属实看不懂 Abstract 近年来 xff0c 神经隐式表面重建方法已成为多视图三维重建的流行方法 与传统的多视图立体方法相比 xff0c 由于神经网络的归纳平滑偏差 xff0c 这些方法往往会产生更平滑和更完整的重建 最先进
  • SPSS入门教程—相关性分析使用方法

    IBM SPSS Statistics为用户提供了三种相关性分析的方法 xff0c 分别是双变量分析 偏相关分析和距离分析 xff0c 三种相关分析方法各针对不同的数据情况 xff0c 接下来我们将为大家介绍如何使用SPSS相关性分析中的距
  • 使用IBM SPSS Statistics的新手应该如何入门

    一 什么是IBM SPSS Statistics xff1f IBM SPSS Statistics 是一款强大的统计软件平台 xff0c 它所提供的数据分析功能 xff0c 可以帮助企业 个人对各类数据进行切实可行的洞察分析 xff0c
  • linux 下清空回收站命令

    linux 下清空回收站命令 sudo rm fr root Trash
  • 了解CV和RoboMaster视觉组(目录和大纲)

    NeoZng neozng1 64 hnu edu cn 全网最最最全的RoboMaster视觉组入门教程和概览来啦 xff01 0 Catalogue 摘要 视觉组在不同兵种中的作用 2 1 装甲板识别 2 2 能量机关 2 3 哨兵 2
  • 了解CV和RoboMaster视觉组(一)摘要

    NeoZng neozng1 64 hnu edu cn 1 摘要 在阅读本文之前 xff0c 你需要有计算机科学的基本知识并至少掌握一门编程语言 xff0c 同时对robomaster比赛规则和过程有大致的了解 若只是希望知道视觉组的基本
  • 了解CV和RoboMaster视觉组(二)视觉在各兵种中的作用

    NeoZng neozng1 64 hnu edu cn 2 视觉在各兵种中的作用 2 1 装甲板识别 xff08 步兵 英雄 无人机 xff09 由于机器人上安装的图传模块到操作手看到的第一视角的延迟加上操作手反应速度的延迟 xff0c