【TensorRT】Win10 TensorRT下载与VS开发配置

2023-05-16

1、TensorRT下载

        下载地址:NVIDIA TensorRT Download | NVIDIA Developer

        在下载地址找到对应版本,以TensorRT7.2.3为例,找到其中的windows版本(注意,部分TensorRT的release版本没有windows版本),选择相应CUDA版本的zip下载即可,例如CUDA11.1这个。

        下载后得到zip包:TensorRT-7.2.3.4.Windows10.x86_64.cuda-11.1.cudnn8.1.zip

 GPU环境(CUDA\cudnn)准备

        根据下载包的名称我们可以知道对应的CUDA和cudnn版本,但是考虑到CUDA和cudnn这里没有给出小版本号,同时TensorRT的Release版本对CUDA和cudnn有兼容性要求,为了避免踩坑,建议查看TensorRT的Release日志。

在其中找到自己版本7.2.3日志,查看兼容性信息,可以看到兼容的CUDA版本是11.1 update1,也即11.1.1,cudnn版本是cudnn 8.1.1。

        因此在CUDA archieve和cudnn archieve中下载对应版本,并安装。

VS开发配置

        VS使用TensorRT时可以单独添加系统环境变量,并引用文件夹,也可以将其放到CUDA版本中(已添加环境变量),引用CUDA的路径,具体参考官方zip安装说明,摘录如下图,其中7.X版本的没有TensorRT**.whl。更多关于TensorRT的安装参考这里。

        为了简化,笔者直接将其加入CUDA路径,即inclue放到D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include目录,lib中的lib放到D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\x64,lib中的dll放到D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\bin中。

        设置工程属性:

工程属性

VC++ Directories > Executable Directories

D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib

C/C++ -> Additional Include Directories添加:

D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include

Linker -> Additional Library Directories添加:

D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib;D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\x64;

Linker -> Input -> Additional

添加D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\x64下的所需lib,不知道就加所有。

TensorRT模型发布

        TensorRT模型具有比较强的显卡算力、平台、CUDA和版本等依赖,需要注意匹配。为了方便发布模型可以将bin下的trtexec.exe拷贝到CUDA/bin目录后使用进行发布。也可以设置合适的环境变量后(假设有多个版本的CUDA)进行发布。例如:

set CUDA_PATH=D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1
set CUDAHOME=D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1
trtexec.exe --explicitBatch --onnx=onnx_model_path --saveEngine=save_engine_path --fp16 --workspace=2048

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

【TensorRT】Win10 TensorRT下载与VS开发配置 的相关文章

随机推荐