我想使用 NVIDIA TensorRT 来运行我的 Tensorflow 模型。目前,TensorRT 支持 Caffe prototxt 网络描述符文件。
我无法找到将 Tensorflow 模型转换为 Caffe 模型的源代码。有什么解决方法吗?
TensorRT 3.0 支持通过其 UFF(通用框架格式)导入/转换 TensorFlow 图。某些层实现缺失,需要通过 IPlugin 接口进行自定义实现。
以前的版本不支持 TensorFlow 模型/检查点的本机导入。
您还可以将层/网络描述导出为您自己的中间格式(例如文本文件),然后使用 TensorRT C++ API 构建用于推理的图。您必须单独导出卷积权重/偏差。请务必注意权重格式 - TensorFlow 使用 NHWC,而 TensorRT 使用 NCHW。对于权重,TF 使用 RSCK([filter_height,filter_width,input_深度,output_深度]),TensorRT 使用 KCRS。
有关张量格式的扩展讨论,请参阅本文:https://arxiv.org/abs/1410.0759 https://arxiv.org/abs/1410.0759
此链接还包含有用的相关信息:https://www.tensorflow.org/versions/master/extend/tool_developers/ https://www.tensorflow.org/versions/master/extend/tool_developers/
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)