英伟达GPU中的Tnesor Cores数量多寡与显卡性能有什么关联？

前言

最近在调研常用显卡的参数，看到Nvidia Tensor Cores常用于其中作为对比，呈现在性能好的显卡比如A100比RTX 3060更多更全面，开始思考Tensor Cores细致的作用是什么？

英伟达GPU显卡的简要发展历程

GTX是英伟达过去显卡的型号，现在推出的以及高性能电脑使用的都是RTX系列的产品。其中RTX提供的一个新功能就是包含了Tensor Cores。

Tensor Cores作用

使用Tensor核(张量核)的两个CUDA库是cuBLAS和cuDNN。

• cuBLAS使用张量核加速GEMM计算（GEMM是矩阵-矩阵乘法的BLAS术语）；
• cuDNN使用张量核加速卷积和递归神经网络（RNNs）。

许多计算应用程序使用GEMM：信号处理、流体动力学等等。随着这些应用程序的数据大小呈指数级增长，这些应用程序需要在处理速度上进行匹配。图3中的混合精度GEMM性能图显示，张量核显然满足了这一需求。

提高卷积速度的需求同样巨大； 例如，深神经网络（DNNs）使用了许多层卷积。人工智能研究人员每年都在设计越来越深的神经网络；最深的神经网络中的卷积层现在有几十个。训练DNNs需要卷积层在正向和反向传播期间重复运行。

官网图片很明了地展示了张量核的作用：缩短推理时间、提升推理速度、推动高性能计算

参考资料

• https://blog.csdn.net/quicmous/article/details/106617875
• https://www.nvidia.com/zh-tw/data-center/tensor-cores/