两个单精度浮点向量的点积在 CUDA 内核中与在主机上产生不同的结果

在调试一些 CUDA 代码时，我使用以下方法与等效的 CPU 代码进行比较printf陈述，并注意到在某些情况下我的结果有所不同；它们在任何一个平台上都不一定是错误的，因为它们在浮点舍入误差之内，但我仍然有兴趣知道是什么导致了这种差异。

我能够将问题追溯到不同的点积结果。在 CUDA 和主机代码中，我都有向量 a 和 b 类型float4。然后，在每个平台上，我使用以下代码计算点积并打印结果：

printf("a: %.24f\t%.24f\t%.24f\t%.24f\n",a.x,a.y,a.z,a.w);
printf("b: %.24f\t%.24f\t%.24f\t%.24f\n",b.x,b.y,b.z,b.w);
float dot_product = a.x*b.x + a.y*b.y + a.z*b.z + a.w*b.w;
printf("a dot b: %.24f\n",dot_product);

CPU 的打印结果为：

a: 0.999629139900207519531250   -0.024383276700973510742188 -0.012127066962420940399170 0.013238593004643917083740
b: -0.001840781536884605884552  0.033134069293737411499023  0.988499701023101806640625  1.000000000000000000000000
a dot b: -0.001397025771439075469971

对于 CUDA 内核：

a: 0.999629139900207519531250   -0.024383276700973510742188 -0.012127066962420940399170 0.013238593004643917083740
b: -0.001840781536884605884552  0.033134069293737411499023  0.988499701023101806640625  1.000000000000000000000000
a dot b: -0.001397024840116500854492

正如您所看到的，a 和 b 的值在两个平台上似乎按位等效，但完全相同的代码的结果却略有不同。据我了解，浮点乘法是根据 IEEE 754 标准明确定义的，并且与硬件无关。然而，对于为什么我没有看到相同的结果，我确实有两个假设：

1. 编译器优化是对乘法进行重新排序，它们在 GPU/CPU 上以不同的顺序发生，从而产生不同的结果。
2. CUDA 内核使用融合乘加 (FMA) 运算符，如中所述http://developer.download.nvidia.com/assets/cuda/files/NVIDIA-CUDA-Floating-Point.pdf http://developer.download.nvidia.com/assets/cuda/files/NVIDIA-CUDA-Floating-Point.pdf。在这种情况下，CUDA 结果实际上应该更准确一些。

除了将 FMUL 和 FADD 合并到 FMA 之外（可以使用 nvcc 命令行开关关闭）-fmad=false），CUDA编译器遵守C/C++规定的求值顺序。根据 CPU 代码的编译方式，它可能会使用比单精度更宽的精度来累积点积，然后产生不同的结果。

对于 GPU 代码，将 FMUL/FADD 合并到 FMA 中是很常见的情况，因此产生的数值差异也很常见。出于性能原因，CUDA 编译器执行积极的 FMA 合并。使用 FMA 通常还会产生更准确的结果，因为舍入步骤的数量减少了，并且由于 FMA 在内部维护全角乘积，因此可以防止减法抵消。我建议阅读以下白皮书及其引用的参考文献：

https://developer.nvidia.com/sites/default/files/akamai/cuda/files/NVIDIA-CUDA-Floating-Point.pdf https://developer.nvidia.com/sites/default/files/akamai/cuda/files/NVIDIA-CUDA-Floating-Point.pdf

为了让 CPU 和 GPU 结果匹配健全性检查，您需要在 GPU 代码中关闭 FMA 合并：-fmad=false，并在 CPU 上强制每个中间结果以单精度存储：

   volatile float p0,p1,p2,p3,dot_product; 
   p0=a.x*b.x; 
   p1=a.y*b.y; 
   p2=a.z*b.z; 
   p3=a.w*b.w; 
   dot_product=p0; 
   dot_product+=p1; 
   dot_product+=p2; 
   dot_product+=p3;