MaskRCNN在Jetson tx2上的测速结果

2023-05-16

博主测试了在不同模式、精度下降MaskRCNN部署到Jetson TX2上的测速结果,与大家分享讨论。
对FasterRCNN的测速可见FasterRcnn在Jetson TX2上测速
使用的MaskRCNN框架:matterport/Mask_RCNN

  • 参考的TensorRT代码:sampleUffFasterRCNN
  • TensorRT版本: 6.0.1.0
  • JetPack版本:4.3
  • TensorFLow版本(用于在服务器上训练模型):1.14.0
  • 服务器上用于训练的CUDA版本:9.2

表1 MaskRCNN+TensorRT在Jetson TX2上测速结果

次序图像名图像尺寸TX2模式风扇FP生成engine推断
1test1.ppm640x480MAXNFP32744s1359ms
2test1.ppm640x480MAXNFP32814s1369ms
3test1.ppm640x480MAXQFP321055s1848ms
4test1.ppm640x480MAXP_CORE_ALLFP32888s1491ms
5test1.ppm640x480MAXP_CORE_ARMFP32878s1458ms
6test1.ppm640x480MAXNFP162922s785ms
7test2.ppm480x360MAXNFP32831S1378ms
8test2.ppm480x360MAXNFP162915s783ms

其中,一些基本参数和说明

  • FP32生成的engine大小: 285.4MB
  • FP16生成engine大小: 251.3MB
  • 这里的batch size =1,由于第一张需要预热,速度较慢,这里运行了10次求平均时间
  • 在不强制开启风扇时,生成引擎过程中会自动开启风扇

为了更好地比较提速效果,博主还测试了直接使用tensorflow版本的MaskRCNN在Jetson TX2上进行测速,结果如下
表2 MaskRCNN+TensorFlow在Jetson TX2上测速

次序图像名模型载入第一张推断之后推断与FP32推断时间比与FP16推断时间比
9test1.ppm32.4s22s2800ms2:14:1
10test2.ppm32.2s22s26002:14:1

以上两个测试都是在TX2模式为MAXN,风扇开启下完成。
原始的模式大小为244.23MB

由此可见,我们有如下结论,也欢迎大家留言讨论
在这里插入图片描述

其它Jetson开发板测速结果

1.MaskRCNN+TensorRT在Jetson tx2上的测速
2.FasterRCNN+TensorRT在Jetson TX2上测速
3.MaskRCNN+TensorRT在Jetson Xavier上的测速
4.pytorch+FasterRCNN在Jetson Xavier上的测速
5.MaskRCNN+TensorRT在Jetson Xavier NX上的测速
6.pytorch+FasterRCNN在Jetson Xavier NX上的测速

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

MaskRCNN在Jetson tx2上的测速结果 的相关文章

随机推荐