TensorFlow 是否使用 GPU 上的所有硬件？

The 英伟达 GP100 https://images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf有30个TPC电路和240个“纹理单元”。 TPC 和纹理单元是否被 TensorFlow 使用，或者这些是用于机器学习的一次性芯片？

我正在运行的神经网络训练会话中查看 GPU-Z 和 Windows 10 的内置 GPU 性能监视器，我发现各种硬件功能未得到充分利用。 Tensorflow 使用 CUDA。我认为 CUDA 可以访问所有硬件组件。例如，如果我知道差距在哪里（Tensorflow 和底层 CUDA 之间）以及差距是否重要（浪费了多少硅），我可以通过克隆 TensorFlow、修改它，然后提交拉取请求来进行补救。

例如，下面的答案讨论了可以从 CUDA 访问的纹理对象。 NVidia 指出这些可用于加速对延迟敏感、短时间运行的内核 https://devblogs.nvidia.com/cuda-pro-tip-kepler-texture-objects-improve-performance-and-flexibility/。如果我用谷歌搜索“TextureObject tensorflow”，我不会得到任何结果。因此，除非有相反的证据，我可以假设 TensorFlow 没有利用纹理对象。

NVidia 销售用于神经网络训练的 GPGPU。到目前为止，他们似乎已经对其电路采用了双重用途策略，因此他们保留了不用于机器学习的电路。这就引出了一个问题：纯 TensorFlow 电路是否会更高效。出于这个原因，谷歌现在正在推广 TPU。 https://www.blog.google/topics/google-cloud/google-cloud-offer-tpus-machine-learning/对于 TensorFlow 而言，TPU 是否真的比 NVidia GPU 便宜尚无定论。NVidia 正在挑战 Google 的性价比主张。 https://www.extremetech.com/computing/247403-nvidia-claims-pascal-gpus-challenge-googles-tensorflow-tpu-updated-benchmarks

这些东西都不是可以在 CUDA 中单独寻址的单独硬件。请阅读文档第 10 页上的这段文字：

GP100内的每个GPC有10个SM。每个 SM 有 64 个 CUDA 核心和 4 个纹理单元。拥有 60 个 SM, GP100共有3840个单精度CUDA核心和240个纹理单元。每个内存控制器是 附有 512 KB 的 L2 缓存，每个 HBM2 DRAM 堆栈由一对内存控制 控制器。完整的 GPU 包含总共 4096 KB 的二级缓存。

如果我们在上面读到：

GP100 旨在成为世界上性能最高的并行计算处理器，以解决 我们的 Tesla P100 加速器平台满足 GPU 加速计算市场的需求。喜欢 与之前的 Tesla 级 GPU 相比，GP100 由一系列图形处理集群 (GPC)、纹理 处理集群 (TPC)、流式多处理器 (SM) 和内存控制器。完整的 GP100 由 6 个 GPC、60 个 Pascal SM 组成，30 个 TPC（每个包含 2 个 SM），和八个512位内存 控制器（总共 4096 位）。

看一下图表，我们看到以下内容：

因此，不仅 GP 和 SMS 不是独立的硬件，甚至连TPCs只是重组硬件架构并想出一个奇特的营销名称的另一种方式。您可以清楚地看到 TPC 没有在图中添加任何新内容，它只是看起来像 SM 的容器。其 [1 GPC]:[5 TPC]:[10 SM]

内存控制器是一些东西所有硬件为了与 RAM 连接，更多的内存控制器可以实现更高的带宽，请参见此图：

其中“高带宽内存”指的是HBM2 https://en.wikipedia.org/wiki/High_Bandwidth_Memory一种视频内存，例如 GDDR5，即视频 RAM。您不会像在 X86 台式机上那样直接在 CUDA 软件中解决这个问题。

所以实际上，我们这里只有 SM，没有 TPC 和 GPC。所以回答你的问题，因为张量流 https://github.com/tensorflow/tensorflow利用cuda https://github.com/tensorflow/tensorflow/tree/851c28951b7345f303f4ec1d6490e3fadaa0a40e/third_party/toolchains/gpus/cuda，大概它会使用所有可用的硬件。

编辑：发帖者将他们的问题编辑为一个完全不同的问题，并且有新的误解，所以这里是答案：

纹理处理集群 (TPC) 和纹理单元不是一回事。 TPC 似乎只是一个带有一些营销魔法的流式多处理器 (SM) 组织。

纹理单元不是一个具体的术语，不同 GPU 的功能也有所不同，但基本上您可以将它们视为纹理内存或随时访问纹理内存的组合，它采用空间一致性，而不是 L1、L2、L3...缓存采用时间一致性，结合一些固定功能。固定功能可能包括插值访问过滤器（通常至少是线性插值）、不同的坐标模式、mipmapping 控制和各向异性纹理过滤。请参阅Cuda 9.0 指南 https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#texture-and-surface-memory关于此主题，了解纹理单元功能以及可以使用 CUDA 控制的内容。在图表中我们可以看到底部的纹理单元。

显然，这些与我发布的第一张图片中显示的 TPC 完全不同，至少根据该图，TPC 没有与之相关的额外功能，而只是两个 SM 的容器。

现在，尽管事实上你can在 cuda 中解决纹理功能，您通常不需要这样做。纹理单元固定功能功能对于神经网络来说并不是那么有用，但是，空间相干纹理内存通常是自动地即使您没有明确尝试访问它，CUDA 也会将其用作优化。这样一来，TensorFlow仍然不会“浪费”硅。