为什么改变块和网格大小会对运行时间产生如此大的影响？

我正在研究一些cudatutorial将 RGBA 图片转换为灰度图。 但我不明白为什么要改变blockSize and gridSize改进了 X33 时间。

__global__
void rgba_to_greyscale(const uchar4* const rgbaImage,
                       unsigned char* const greyImage,
                       int numRows, int numCols)
{
    int i = blockIdx.x*numCols + threadIdx.x;
    float channelSum = .299f * rgbaImage[i].x + .587f * rgbaImage[i].y + .114f * rgbaImage[i].z;
    greyImage[i]= channelSum;
}

void your_rgba_to_greyscale(const uchar4 * const h_rgbaImage, uchar4 * const d_rgbaImage,
                            unsigned char* const d_greyImage, size_t numRows, size_t numCols)
{
  const dim3 blockSize(numCols, 1, 1);
  const dim3 gridSize(numRows, 1 , 1);
  rgba_to_greyscale<<<gridSize, blockSize>>>(d_rgbaImage, d_greyImage, numRows, numCols);

  cudaDeviceSynchronize(); checkCudaErrors(cudaGetLastError());
}

当我按上面设置时：

const dim3 blockSize(numCols, 1, 1);
const dim3 gridSize(numRows, 1 , 1);

I get Your code executed in 0.030304 ms

当我设置时：

 const dim3 blockSize(1, 1, 1);
 const dim3 gridSize(numRows, numCols , 1);

并更新线程函数以使用新索引：

int i = blockIdx.x*numCols + blockIdx.y;

I get Your code executed in 0.995456 ms.

1. 我希望它是相反的，因为 GPU 可以计算所有 第二次网格分割时单独的像素是否与 缓存一致性问题？为什么我会得到这些结果？
2. 从理论上来说，这个问题的最佳网格和块大小是多少？是否可以在运行时计算它？

FYI:

numRows = 313 numCols =557 

技术性能：

#uname -a && /usr/bin/nvidia-settings -v
    Linux ip-10-16-23-92 3.2.0-39-virtual #62-Ubuntu SMP Thu Feb 28 00:48:27 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

    nvidia-settings:  version 304.54  (buildmeister@swio-display-x86-rhel47-11)

不推荐使用网格/块配置。第一个是不可扩展的，因为 GPU 的每个块的线程数是有限的，因此它最终会因较大的图像尺寸而失败。第二种是一个糟糕的选择，因为每个块只有 1 个线程，不推荐这样做，因为 GPU 占用率会很低。您可以通过以下方式验证GPU 占用计算器包含在 CUDA 工具包中。建议的块大小应为 GPU 扭曲大小（16 或 32）的倍数，具体取决于 GPU。

在您的情况下，针对 2D 网格和块大小的通用且可扩展的方法将如下所示：

const dim3 blockSize(16, 16, 1);
const dim3 gridSize((numCols + blockSize.x - 1)/blockSize.x, (numRows + blockSize.y - 1)/blockSize.y , 1);

您可以将块大小从 16 x 16 更改为您喜欢的任何大小，前提是不超出设备的限制。对于计算能力 1.0 至 1.3 的设备，每块最多允许 512 个线程。对于计算能力 2.0 及以上的设备，此限制为每块 1024 个线程。

现在，网格和块是二维的，内核内部的索引将修改如下：

int i = blockIdx.x * blockDim.x + threadIdx.x; //Column
int j = blockIdx.y * blockDim.y + threadIdx.y; //Row

int idx = j * numCols + i;

//Don't forget to perform bound checks
if(i>=numCols || j>=numRows) return;

float channelSum = .299f * rgbaImage[idx].x + .587f * rgbaImage[idx].y + .114f *     rgbaImage[idx].z;
greyImage[idx]= channelSum;