Onnx推理框架
ONNX，即 Open Neural Network Exchange，当我们使用Pytorch或者TensorFlow训练完成后，通常会将其模型转化为ONNX模型(ONNX模型一般用于中间部署阶段)，然后再拿转化后的ONNX模型转换为我们使用不同框架部署需要的类型（如OpenVINO，ONNXRuntime，TensorRT）。
推理框架速度对比
目前支持Onnx推理的：ONNXRuntime、OpenVINO、TensorRT、OpenCV DNN…
- CPU上速度最快的是OpenVINO；
- GPU上速度最快的是TensorRT；
- 同时支持CPU跟GPU，并且兼容性最好的是ONNXRuntime；
- OpenCV DNN毫无意外的速度最慢（CPU/GPU）；
