122FPS,51.9mAP 超轻量关键点检测算法PP-TinyPose来啦!

2023-10-27

在人机交互场景中,机器可以识别人的手势、肢体动作、表情,你可知背后的核心技术是什么吗?

没错,就是关键点检测技术,它能帮你实现精准的人机交互任务,如手势控制、智能健身、体感游戏等, 还可以识别交通违规、打架斗殴、违规操作等异常行为~

话不多说,我们直接看效果:

0d655d9ebf846929d1893b7085cf78d7.png

54f4d0cb1252ca508a68476df73e4d6b.gif

65365d0a413eb95564478266ccb69035.gif

以上视频引用于公开数据[1][2][3][4]

古语云:工欲善其事,必先利其器!要高质量实现关键点检测任务,没有利器怎么能行!今天给大家奉上的这个开源算法—PP-TinyPose,仅凭端侧微弱算力,使用飞桨轻量化推理引擎Paddle Lite,单人场景FP16推理竟可达到超高帧率122FPS、精度51.8mAP,绝对可以称得上一把利刃~

话不多说,赶紧送上传送门,开源不易,还请Star鼓励哦!b08af0ece4d2234cfe823971d2f3dcfb.gif

⭐ 项目链接 ⭐

https://github.com/PaddlePaddle/PaddleDetection

那关键点检测算法这么多,PP-TinyPose到底强在哪里呢?下面就给大家强势揭秘~

1

精度高、速度快

关键点检测算法往往需要部署在轻量化、边缘端设备上,因此长期以来都存在一个难题:精度高、速度则慢、算法体积也随之增加。而PP-TinyPose的出世彻底打破了这个僵局,采用Top-Down的方式,先应用0.99M、150FPS的超轻量检测网络PP-PicoDet,再用基于Lite-HRNet的移动端优化模型,检测对应关键点,由此确保关键点检测的高精度,同时扩大数据集,减小输入尺寸,预处理与后处理加入AID、UDP和DARK等策略,保证模型的高性能。实现速度在FP16下122FPS的情况下,精度也可达到51.8mAP,不仅比其他类似实现速度更快,精度更是提升了130%!

e398a8cc475345f2215bc42607dedb83.gif

以上视频引用于公开数据[3]

cdd2eeacd893477ac35035cb6a99cf36.png

2

微小目标效果好

PP-TinyPose除了在日常关键点检测任务上拥有极强的通用性,针对小目标出现在大尺幅图像中的产业常见难题场景完成一系列针对性的优化,从而对小目标进行关键点检测时,依然能保持同样的精度与速度,效果直接看图:

7b24c2fafca7eb2b084df71f2aa09956.png

以上图片引用于公开数据[1]

3

多人同时检测,精准快速 

更特别的是,PP-TinyPose还能同时实现多人关键点检测,且效果超强!不仅对于检测人数无限制,其速度和精度也依旧优秀!与开源界其他类似实现相比,检测人数、精度与性能上均有明显优势,直接上图对比:

50c8fbe761f7af6f848ff534e436c14a.gif

以上视频引用于公开数据[3]

36809d4a7b55773508d66386cd83654c.png

4

快速边缘部署

为了满足产业开发者在摄像头、车辆、机顶盒、手机等边缘端部署的强烈需求,PP-TinyPose借助飞桨轻量化推理引擎Paddle Lite的能力,为大家提供超便捷的边缘侧部署方案,并提供在手机端部署的保姆级教程及效果展示Demo,让大家快速从“想用”,升级到“能用”然后快速上线 ٩̋(๑˃́ꇴ˂̀๑)!!

4574b7f225a9a7839c423effb2f3f9a3.gif

扫码报名课程,进群下载APP体验一下吧(/^▽^)/!

f77a08db4cc265c17a30d33ac8e53f64.png

5

产业场景快速融合

除了技术产品本身的优势,PP-TinyPose在产业场景实际落地的速度和效果也极其优秀!

以摔倒检测为例,在上海泰思通公司的实际业务中,应用PP-TinyPose检测出人体关键点,结合逻辑规则进行行为分析,历时一周就实现了“实时人物摔倒识别“,部署在Windows服务器上的Nvidia GeForce RTX3070,耗时仅15ms,高效地保障了工作人员及公司资产的安全。

9d785da381deb55d031d9dc78b2d37f7.gif

以上视频引用于泰思通业务数据[5]

除此之外,PP-TinyPose的能力可以快速被应用到异常行为识别等更多高价值领域发挥作用。

深入直播讲解

为了让开发者们更深入的了解PP-TinyPose,掌握关键点检测的理论知识与实践指南,手把手教大家完成模型训练与预测部署,飞桨团队精心准备了为期四天的直播课程!

11月23日-26日19:00-20:00,百度资深高工将深入解读通用目标检测的基础理论与实践、超轻人体关键点模型的理论及应用,并全方位解析实时跟踪系统,对各类痛难点提供最优解决方案,更有直播现场答疑解惑,还在等什么!抓紧扫码上车吧!

扫码报名直播课,加入技术交流群!

4aa1a485a002733ae9b2de0bf9c409a0.png

精彩内容抢先看

7aff51dd182f22b82b7ef41d2f9155d0.png

图片数据引用说明

[1] Lin T Y, Maire M, Belongie S, et al. Microsoft coco: Common objects in context[C]//European conference on computer vision. Springer, Cham, 2014: 740-755.

[2] Kay W, Carreira J, Simonyan K, et al. The kinetics human action video dataset[J]. arXiv preprint arXiv:1705.06950, 2017.

[3] YouTube. (2016, August 10). 100 People of Dance [Video file]. Retrieved from https://www.youtube.com/watch?v=qrTi2aLx8dw  

[4] Myznik, E. (2020, June 22). Photo by Egor Myznik on unsplash. Beautiful Free Images & Pictures. Retrieved November 16, 2021, from https://unsplash.com/photos/NkGGF6BvU88.

[5] TaiSiTong. (2021 November 3). 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

122FPS,51.9mAP 超轻量关键点检测算法PP-TinyPose来啦! 的相关文章

随机推荐

  • ElasticSearch 总结

    ElasticSearch 将需要存储的数据分为 结构化数据 非结构化数据 半结构化数据 结构化数据 一般为二维的表结构 比如一张表包含了用户的姓名性别年龄等信息 一般保存到关系型数据库中 如 MySQL 非结构化数据 是无法用二维表结构表
  • Spring中配置和读取多个Properties文件

    一个系统中通常会存在如下一些以Properties形式存在的配置文件 1 数据库配置文件demo db properties Properties代码 database url jdbc mysql localhost smaple dat
  • 蓝桥杯-决赛A组第九届java

    目录 第1题 三角形面积 第2题 阅兵方阵 第3题 找假币 第4题 版本分支 第5题 自描述序列 第6题 采油 第1题 三角形面积 代码来自CSDN 作者 萤火虫的微亮 原文 https blog csdn net weixin 42318
  • 【4399运维笔试题】

    rsync传输过程中有大文件 默认会做数据校验 所以每次都耗费很长时间 可以使用 W取消校验 1 4 mysqldump uroot pmima B 4699sy gt backup date F 4399sy sql 2 30 0 tar
  • CloudCompare——计算点云曲率

    目录 1 找到曲率计算功能 2 设置计算参数 3 可视化曲率计算结果 4 保存计算结果 5 完整操作流程 6 相关链接 1 找到曲率计算功能 2 设置计算参数 只有一个参数 位置处用于查找最近邻点的球邻域半径 3 可视化曲率计算结果 4 保
  • 保卫家园(小白版)

    保卫家园 牛客 题目链接 https ac nowcoder com acm problem 205068 题目 题目描述 为了抵御深渊的蔓延 被深渊毁掉家园的人们组建法兰不死队来镇压深渊 已知法兰不死队的最大编制为k 即队伍最多能有k人
  • (详解)用C语言实现一个能够连续展开的扫雷。

    功能介绍 我们实现一个扫雷 那么必须具有其基本的功能 如下图 那么相比较一般的用C实现的扫雷 我们需要添加如下的三个功能 防止第一次被炸死 标记雷 连续展开 代码实现以及解释 一 主函数的实现以及扫雷的构思框架 test c int mai
  • 自举电容的工作原理-3句话总结

    1 一道面试题 照例 先抛出来一道面试题 Buck电路的SW引脚通常会放置一颗小电容 这颗电容有什么用 这个问题问得比较细 非常考验被面试者的硬件基本功 2 似懂非懂的答案 有小伙伴可能不太清楚这颗电容的作用 回答不上来 也有小伙伴脱口而出
  • 1 shell备份数据库MYSQL案例

    SHELL编程实战MYSQL备份脚本 编程思路 1 备份MYSQL数据库 备份的工具的选择 数据量小于100G使用全备 基于mysqldump工具备份 备份会锁表 数据量大于100G使用增量备份 基于xtrabackup工具备份 Innod
  • STM32CubeMX新建工程并点亮一个LED

    可提前看 STM32CubeMX环境安装 保姆级 目录 进入STM32CubeMX界面 双击软件 可能会出现的弹窗 更改固件路径 新建工程 进入配置环境 以一个点灯程序为例 GPIO配置 输出电平设置 输出模式 上下拉 输出速度 User
  • 方差

    什么是随机变量的方差 方差反映随机变量取值的什么性质 方差是一个常用来体现随机变量的取值分散程度的量 设 X X X是一个随机变量 若 E X
  • (c语言)输出Programming is fun!

    题目要求 输入 无 输出 Programming is fun 具体代码如下 include
  • 打印从1到最大的n位数

    链接 打印从1到最大的n位数 牛客题霸 牛客网 nowcoder com 描述 输入数字 n 按顺序打印出从 1 到最大的 n 位十进制数 比如输入 3 则打印出 1 2 3 一直到最大的 3 位数 999 1 用返回一个整数列表来代替打印
  • Hands-On Hyperledger Fabric——Fabric的证书(账号)体系

    文章目录 Fabric证书是什么 Fabric证书服务器 Fabric ca fabric ca server的初始化 fabric ca server 配置文件 fabric ca client 使用 将Fabric ca server绑
  • GPT分区规划与各分区作用解析

    1 GPT分区规划 安装用EFI引导的Windows 10前 手动为硬盘分区 推荐方案如下 序号 分区名 起始柱面 磁头 扇区 容量 MBR保留扇区 GPT分区表 1MB 0 ESP分区 0 32 33 96MB 空白 预留给扩展ESP时使
  • 【H5】 svg画贝塞尔曲线方法

    H5 svg画贝塞尔曲线方法 d属性M 起始坐标 L 结束坐标 H 水平线 V 垂直线 A 圆弧 Z 闭合路劲 C S Q T贝塞尔曲线大写为绝对坐标 具体的坐标位置 小写为相对坐标 相对起始坐标点的具体长度 A命令x 径y半径角度弧长 0
  • 关于虚拟机.vmdk与.ovf 磁盘装载问题

    与 vmdk磁盘装载相关的两种方式 0 前言 1 只有 vmdk文件 2 带有 ovf vmdk文件 0 前言 提一嘴 现在用的比较多的虚拟机创建或者拷贝方式有两种 第一种是iso光盘映像装载 第二种是OVF导入 分别为 ISO的装载方式最
  • build JAX from source code

    Building from source JAX documentation
  • visual studio:不能加载.vdproj

    总结 下载后关闭所有vs项目 重新打开目标工程 需要完成次扩展的后续安装任务 参考 https www cnblogs com hofmann p 11183457 htm
  • 122FPS,51.9mAP 超轻量关键点检测算法PP-TinyPose来啦!

    在人机交互场景中 机器可以识别人的手势 肢体动作 表情 你可知背后的核心技术是什么吗 没错 就是关键点检测技术 它能帮你实现精准的人机交互任务 如手势控制 智能健身 体感游戏等 还可以识别交通违规 打架斗殴 违规操作等异常行为 话不多说 我