CUDA全局内存事务的成本

根据 CUDA 5.0 编程指南，如果我同时使用 L1 和 L2 缓存（在 Fermi 或 Kepler 上），则所有全局内存操作都使用 128 字节内存事务完成。但是，如果我仅使用 L2，则使用 32 字节内存事务（第 F.4.2 章）。

让我们假设所有缓存都是空的。如果我有一个扭曲，每个线程以完美对齐的方式访问单个 4 字节字，这将导致在 L1+L2 情况下产生 1x128B 事务，在仅 L2 情况下产生 4x32B 事务。是对的吗？

我的问题是 - 4 个 32B 事务是否比单个 128B 事务慢？ 我对费米之前硬件的直觉表明它会更慢，但也许在较新的硬件上情况不再如此？或者也许我应该只看带宽利用率来判断内存访问的效率？

是的，在缓存模式下，将生成单个 128 字节事务（从 L1 缓存级别可见）。在非缓存模式下，将生成四个 32 字节事务（从 L2 缓存级别可见 - 它仍然是来自来自）在您描述的情况下，对于完全合并的访问，无论缓存或非缓存模式如何，四个 32 字节事务都不会变慢。在任何一种情况下，内存控制器（在给定的 GPU 上）都应该生成相同的事务来满足 warp 的请求。由于内存控制器由多个（最多 6 个）“分区”组成，每个分区都有 64 位宽的路径，因此最终将使用多个内存事务（可能跨越多个分区）来满足请求（4x32 字节或1x128 字节）。跨分区的具体事务数量和组织可能因 GPU 而异（这不是您的问题的一部分，但具有 DDR 泵送内存的 GPU 将为每个内存事务返回每个分区 16 字节，而使用 QDR 泵送内存时，每个内存事务将返回每个分区 32 字节）。这也不是 CUDA 5 特有的。您可能想回顾一下 NVIDIA 的产品之一webinars http://developer.nvidia.com/cuda/gpu-computing-webinars对于此材料，特别是“CUDA 优化：内存带宽有限内核”。即使你不想看video http://developer.download.nvidia.com/CUDA/training/Optimizing_Mem_limited_kernels.mp4，快速回顾一下slides http://developer.download.nvidia.com/CUDA/training/bandwidthlimitedkernels_webinar.pdf会提醒您所谓的“缓存”和“非缓存”访问（这是指 L1）之间的各种差异，并且还会为您提供尝试每种情况所需的编译器开关。

查看幻灯片的另一个原因是它会提醒您在什么情况下可能想要尝试“未缓存”模式。特别是，如果您的 warp 具有分散（未合并）的访问模式，则非缓存模式访问可能会带来改进，因为与 128 字节相比，从内存请求 32 字节数量以满足单个线程的请求时“浪费”更少数量。然而，针对您的最后一个问题，对其进行分析相当困难，因为您的代码可能是有序和无序访问模式的混合。由于非缓存模式是通过编译器开关打开的，因此幻灯片中给出的建议只是“尝试两种方式的代码”，看看哪种运行速度更快。根据我的经验，在非缓存模式下运行很少会带来性能改进。

编辑：抱歉，我的演示文稿链接和标题错误。修复了幻灯片/视频链接和网络研讨会标题。