程序员经验分享-hwhale

tensorRT模型性能测试

2023-11-07

前言

最近有个需求，需要测试下 tensorRT 模型的性能，最近看了杜老师 tensorRT_Pro 这个 repo 中的方法，简单的实现了下，故此做个记录下方便下次查看。此次对 tensorRT 模型的测试主要包括 mAP 测试和速度测试，具体细节，大家自行查阅相关代码，这里只简单分享下博主在测试时实现的流程。

测试环境：NVIDIA RTX 3060，Ubuntu20.04，CUDA-11.6，cuDNN-8.4.0，tensorRT-8.4.1，OpenCV-4.6.0，protouf-3.11.4，pytorch-1.12.0

先说下测试大致的一个流程：

mAP 测试：模型训练 -> 导出 onnx -> 生成 FP32/FP16 模型 -> FP32/FP16/INT8 推理预测 -> 将结果保存为 JSON 文件 -> COCO Python API 测试 mAP

速度测试：模型训练 -> 导出 onnx -> 生成 FP32/FP16 模型 -> FP32/FP16/INT8 推理预测 -> warmup -> 循环推理计算平均推理时间

若有问题欢迎各位看官批评指正

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

模型部署

Tensorrt

map

tensorRT模型性能测试 的相关文章

  • TensorRT学习笔记3 - 运行sampleMNIST

    目录 步骤 遇到的问题 步骤 cd your tensorrt path samples sampleMNIST make cd your tensorrt path bin sudo sample mnist h datadir your

  • win下C++通过Clion部署yolov5——libtorch+yolov5

    libtorch yolov5 一 环境配置 二 下载官网例子 三 测试 3 1 创建项目 3 2 cmakelist txt编写 3 3 运行测试 一 环境配置 需要配置libtorch OpenCV 此处参考博文 clion配置libt

  • tensorRT模型性能测试

    目录 前言 1 模型训练 1 1 模型 1 2 数据集 1 3 xml2yolo 1 4 yolo2json 1 5 json2yolo 1 6 训练 2 TRT模型转换 2 1 YOLOv5 ONNX导出 2 2 YOLOv6 ONNX导

  • NCNN、OpenVino、 TensorRT、MediaPipe、ONNX，各种推理部署架构，到底哪家强？

    以深度学习为主的人工智能算法模型在日常AI应用中逐渐占据主流方向 相关的各类产品也是层出不穷 我们平时所看到的AI产品 像刷脸支付 智能语音 银行的客服机器人等 都是AI算法的具体落地应用 AI技术在具体落地应用方面 和其他软件技术一样 也

  • Java--Map和HashMap基础

    一 Map常用方法 1 Map集合在 java util Map 包下 Map集合以键值对 key和value 的方式存储数据 key和value都是引用数据类型 都是存储对象的内存地址 2 Map接口中常用方法 V put K key V

  • 深度学习模型部署学习四

    在 PyTorch 中支持更多 ONNX 算子 学习链接 模型部署入门教程 四 在 PyTorch 中支持更多 ONNX 算子 写在前面 本文档为学习上述链接的相关记录 基本内容一致 仅用于学习用途 若侵权请联系我删除 在 PyTorch

  • C++基础知识 - map和multimap容器

    map multimap的简介 map是标准的关联式容器 一个map里存储的元素是一个键值对序列 叫做 key value 键值对 它提供基于key快速检索数据的能力 map中key值是唯一的 集合中的元素按一定的顺序排列 元素插入过程是按

  • YOLOv5 tensorRT C++代码详解之engine的读取

    在tensorRT中 engine模型是对yolov5序列化后的结果 在推理的时候需要进行反序列化才能进行推理 那么第一步就是读取engine文件 ifstream介绍 engine文件的读取需要用到ifstream 需要导入头文件 inc

  • 【Scala入门】Scala中的Map集合：key必须唯一

    Map 映射 是一种可迭代的键值对 key value 结构 所有的值都可以通过键来获取 Map 中的键都是唯一的 Map 也叫哈希表 Hash tables Map 有两种类型 可变与不可变 区别在于可变对象可以修改它 而不可变对象不可以

  • Golang 数据结构 —— 字典

    Golang 数据结构 字典 字典存储 key value 对 Go提供了非常方便的实现 内置的map类型 本文增强内置的map类型 添加便捷的操作用于获取或改变其内容 创建ItemDictionary泛型 并发安全的 能够生成任何具体类型

  • tensorRT 分类模型构建与推理

    tensorRT分类模型构建与推理示例代码classifier cpp tensorRT include 编译用的头文件 include

  • 【使用TensorRT自带的plugin】

    0 背景 在之前的文章TensorRT的plugin实现中介绍了 如何从零实现一个TensorRT的plugin 这篇文章来介绍如何使用TensorRT自带的plugin 将其添加到Network Definition中加速我们的模型 自T

  • Dart中常用的集合类型List、Set、Map、Queue

    Dart中常用的集合类型 List 列表 有序集合 可以修改数据 Dart中List对应数组 可以通过索引访问元素 Set 集合 无序 不可重复 常用于过滤重复数据 Map 映射 键值对集合 键必须唯一 值可以重复 常用于存储关联数据 Qu

  • YOLOv4 tensorrt推理 python版【附代码】

    学了几天的tensorRT 又经过了几天的努力终于实现了YOLOv4 tensorRT推理 这篇文章将把这些成果开源出来 供大家免费使用 YOLOv4代码我采用的是b站up主Bubbliiiing 相信大家应该都比较熟悉这位大佬 关于trt

  • C++中 Map的了解与基本用法（代码演示+自我总结+map中一对多的用法）

    C 中 map的了解与基本用法 代码演示 一 map的基本认识 Map是STL的一个关联容器 它提供一对一 其中第一个可以称为关键字 每个关键字只能在map中出现一次 第二个可能称为该关键字的值 的数据处理能力 由于这个特性 它完成有可能在

  • Babelfish【map函数】

    题目链接 这道题用哈希可以做 但是这道题的输入要求太过于繁琐 所以我直接上map稍微好弄些 这道题讲真更多的考察的是字符串的输入问题 看下代码就会明白的 完整代码 include

  • java Map集合

    目录 一 介绍 二 HashMap 三 TreeMap 四 LinkedHashMap 一 介绍 Java中的Map是一种键值对的集合数据类型 用于存储无序的 不重复的键值对 它提供了快速的查找和访问功能 可以根据键来获取值 常见的Map实

  • Java实体类转Map、Map转实体类

    1 创建entity User java package com jeff entity public class User private String userName private String password private I

  • tensorRT-lenet C++代码分析【附代码】

    前面的文章中已经写了一个tensorRT简单的demo lenet推理 tensorRT lenet 实现了从torch模型转wts 同时也展示出了wts内网络的详细信息 再转engine后的推理过程 本文章是在之前的基础上去分析C 代码的

  • 用通俗易懂的方式讲解：使用 LlamaIndex 和 Eleasticsearch 进行大模型 RAG 检索增强生成

    检索增强生成 Retrieval Augmented Generation RAG 是一种结合了检索 Retrieval 和生成 Generation 的技术 它有效地解决了大语言模型 LLM 的一些问题 比如幻觉 知识限制等 随着 RAG

随机推荐

  • 初识Junit以及相关用法

    目录 一 Junit 是什么 二 Junit相关依赖 三 注解 3 1 Test 3 2 BeforeAll AfterAll 3 3 BeforeEach AfterEach 3 4 Disable 四 测试用例执行顺序 1 如何按照指定

  • 限制富文本编辑器可输入高度

    限制富文本编辑器可输入高度 应用场景 开发中偶尔会操作富文本编辑器 目前格式各样的富文本编辑器功能都较为完善 但总有自己的某个定制化需求没法在众多编辑器中寻求到手 本文以 限制富文本编辑器可输入高度 为例 提供详细的解决方法和解决此类问题的

  • 蓝桥杯打卡Day10

    文章目录 最长ZigZag子序列 最小面积子矩阵 一 最长ZigZag子序列IO链接 本题思路 本题是一道dp问题 集合划分 只有一个a i 或者倒数第二个元素是第j个数字并且需要是下降得到a j g j 1 状态计算f i max f i

  • 测试工程师真的可以轻松月收入破万吗？看了这20张图（市场+学习指南），我跪了！

    岗位最新信息 全国测试开发岗位需求及平均薪资 全国今日测试开发岗位招聘信息有1 2万条 全国平均薪资在3万 月 技能要求 大同小异 岗位职责 1 根据软件设计需求制定测试计划 设计测试数据和测试用例 2 独立开展测试分析 测试执行 并控制项

  • Latex在同一figure中排版多张图片的方法

    Latex在同一figure中排版多张图片的方法 主要使用了minipage 子图 语法 minipage可以嵌套 子图还可以分解为更多子图 功能很好玩 无聊可以自己试试 下面介绍几种常用效果的实现方法 并排显示两张图 并分别标记 begi

  • 网友：计算机专业月薪 2 万侮辱价狗都不去

    谨以此文献给万千正在迷茫焦虑的求职途中的各位伙伴 侮辱价这种帖子真的知乎脉脉牛客到处都是 我真的不理解这帮人什么心理 您搁这装啥呀 大部分同学求职的状态都是 特别焦虑 甚至特别悲观 每天看招聘进度 每天准备面试背题刷题 每天都在找各种信息试

  • DevOps教程：Azure DevOps

    注 本文译自 https www javatpoint com azure devops Azure DevOps Azure DevOps 也称为 Microsoft Visual Studio 团队服务 VSTS 它是为云构建的一组协作

  • Python爬虫学习笔记（二）————爬虫简介

    目录 1 爬虫概念 2 爬虫核心 3 爬虫分类 通用爬虫 聚焦爬虫 4 反爬手段 1 User Agent 2 代理IP 3 验证码访问 4 动态加载网页 5 数据加密 1 爬虫概念 通过一个程序 根据Url http www taobao

  • Unity编辑器拓展（二）实现快速配置书页内容

    自定义窗口使用主要方法 SerializedObject FindProperty EditorWindow GetWindow lt gt serializedObject Update EditorGUILayout PropertyF

  • vue引入个性化字体

    一 首先在字体网选择下载自己喜欢的字体字体网链接 二 在vue静态资源文件夹assets目录下创建一个font文件夹 把下载的ttf文件放在font文件夹里面 三 在src目录下创建一个style文件夹 创建一个全局css变量文件 vue引

  • 判断浏览器（微信、微博、QQ）、操作系统、横竖屏等

    一 根据浏览器判断URL跳转 var browserOfMobile wapUrl http m baidu com versions function var u navigator userAgent return mobile u m

  • 基于java web新生入学报到系统

    使用该系统能方便的录入校园新闻 学生 班级等信息 并能实现管理员对新生报到的管理 主要角色分为学生 财务处 管理员 实现了宿舍楼管理 学籍建立 辅导员班级管理 宿舍安排 报到流程等模块 作为一款毕业设计 课程设计 二次开发的模板 是不可多得

  • APS系统到底是什么?为什么许多企业纷纷选择APS系统？

    随着科技的进步 信息处理技术和数据储存能力 提升了规划技术的规划时间和规划效益 大幅度提升了应用先进的解决生产排程问题的可行性 APS高级计划与排程 Advanced Planning and Scheduling 是一种支持计划或计划的信

  • wxWidgets介绍 —— 一文全面了解wxWidgets

    概述 wxWidgets由爱丁堡大学的Julian Smart于1992年创立 最初是一个用于创建在Unix和Windows上可移植的应用程序的项目 后来它已成长为支持MacOS GTK 以及许多其他工具包和平台的界面库 有关更多详细信息

  • MacBook Pro（13 英寸，2011 年初）A1278安装win10无声解决

    用驱动人生 然后扫描驱动 把声卡的驱动升级下就OK了

  • python 面试题 获取当前目录下所有文件名【递归】

    递归的逻辑比较简单 如下 进入到当前路径下时 先创建一个空列表A来保存文件名 遍历当前文件夹中每一项 如果是文件 就放到列表中 如果是文件夹 那就递归进去 返回值是内层的文件列表 归并到A中 最终返回列表A 代码如下 import os d

  • # 子网掩码

    子网掩码 1 概念简介 子网掩码又叫网络掩码 地址掩码 是一个32位地址 用于屏蔽IP地址的一部分以区别网络号和主机号 并说明该IP地址是在局域网上 还是在远程网上 子网掩码不能单独存在 它必须结合IP地址一起使用 定义规则 子网掩码的设定

  • 机器学习数学基础（一）：机器学习与数学分析

    机器学习数学基础 一 机器学习 概念 什么是机器学习 什么是学习 内涵与外延 流程 重点知识 Code 机器学习与数学分析 极限 导数 幂指函数 离散加和 连续积分 泰勒公式 应用 方向导数 梯度 特殊函数 函数 凸函数 一阶可微 二阶可微

  • 怎么复制Vmware虚拟机文件到其他的机器、别的硬盘目录

    Vmware虚拟机安装完之后有的时候需要挪动 备份虚拟机文件 比如 从公司电脑复制到家里电脑 或者将已安装好的虚拟机拷贝给同事使用 或者原来磁盘空间满了需要换一个磁盘等等 Vmware提供了相应的迁移和复制分发机制 避免了我们再次安装虚拟机

  • tensorRT模型性能测试

    目录 前言 1 模型训练 1 1 模型 1 2 数据集 1 3 xml2yolo 1 4 yolo2json 1 5 json2yolo 1 6 训练 2 TRT模型转换 2 1 YOLOv5 ONNX导出 2 2 YOLOv6 ONNX导

热门标签