使用 CUDA 感知 MPI 的要求

我想通过 CUDA 感知 MPI 在不同 CUDA 设备之间交换数据，如中所述本文 http://devblogs.nvidia.com/parallelforall/introduction-cuda-aware-mpi/。据我了解，以下代码应该可以完成这项工作：

#include <mpi.h>

int main( int argc, char *argv[] )
{
  int rank;
  float *ptr = NULL;
  const size_t elements = 32;
  MPI_Status status;

  MPI_Init( NULL, NULL );
  MPI_Comm_rank( MPI_COMM_WORLD, &rank );
  cudaMalloc( (void**)&ptr, elements * sizeof(float) );

  if( rank == 0 )
    MPI_Send( ptr, elements, MPI_FLOAT, 1, 0, MPI_COMM_WORLD );
  if( rank == 1 )
    MPI_Recv( ptr, elements, MPI_FLOAT, 0, 0, MPI_COMM_WORLD, &status );

  cudaFree( ptr );
  MPI_Finalize();

  return 0;
}

不幸的是，该程序在两个进程上执行时因段错误而崩溃，并给出以下消息：

*** Process received signal ***
Signal: Segmentation fault (11)
Signal code: Address not mapped (1)
Failing at address: 0x210000
[ 0] /lib64/libc.so.6[0x39d94326a0]
[ 1] /lib64/libc.so.6(memcpy+0xd2)[0x39d9489742]
[ 2] /usr/lib64/openmpi/lib/libopen-pal.so.6(opal_convertor_pack+0x18e)[0x2b750326cb1e]
[ 3] /usr/lib64/openmpi/lib/openmpi/mca_btl_smcuda.so(mca_btl_smcuda_sendi+0x3dc)[0x2b7507c2252c]
[ 4] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(+0x890f)[0x2b75086ec90f]
[ 5] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(mca_pml_ob1_send+0x499)[0x2b75086ed939]
[ 6] /usr/lib64/openmpi/lib/libmpi.so.1(PMPI_Send+0x1dd)[0x2b7502d3ef8d]
[ 7] prog(main+0x98)[0x400d51]
[ 8] /lib64/libc.so.6(__libc_start_main+0xfd)[0x39d941ed5d]
[ 9] prog[0x400be9]
*** End of error message ***

我使用 OpenMPI 1.8.2 和 nvcc 6.5；据我所知，这些版本应该支持这个功能。

所以，我的问题是：我做错了什么？我错过了一些要点吗？我非常感谢任何关于如何获得最小工作示例!

段错误几乎肯定是由于当 MPI 需要主机指针时将设备指针传递给 MPI 造成的。只有正确构建的 CUDA 感知 MPI 才能接受设备指针。仅仅拥有 OpenMPI 1.8.2 还不够。您必须拥有使用 CUDA 感知设置显式构建的 OpenMPI 版本。

对于 OpenMPI，

Start here http://www.open-mpi.org/faq/?category=building#build-cuda

摘录：

34. 如何构建具有 CUDA 感知支持的 Open MPI？

CUDA 感知支持意味着 MPI 库可以直接发送和接收 GPU 缓冲区。 Open MPI 1.7 系列及更高版本中存在此功能。支持不断更新，因此不同版本中存在不同级别的支持。

配置开放 MPI 1.7、MPI 1.7.1 和 1.7.2

--with-cuda(=DIR)       Build cuda support, optionally adding DIR/include,
                      DIR/lib, and DIR/lib64


--with-cuda-libdir=DIR  Search for cuda libraries in DIR

以下是启用 CUDA 支持的配置命令的一些示例。

1. 在默认位置搜索。在 /usr/local/cuda/include 中查找 cuda.h，在 /usr/lib64 中查找 libcuda.so。

   ./configure --with-cuda
   

2. 在 /usr/local/cuda-v4.0/cuda/include 中搜索 cuda.h，在默认位置 /usr/lib64 中搜索 libcuda.so。

   ./configure --with-cuda=/usr/local/cuda-v4.0/cuda
   

3. 在 /usr/local/cuda-v4.0/cuda/include 中搜索 cuda.h，在 /usr/lib64 中搜索 libcuda.so。 （与上一篇相同）

   ./configure --with-cuda=/usr/local/cuda-v4.0/cuda --with-cuda-libdir=/usr/lib64
   

如果找不到 cuda.h 或 libcuda.so 文件，则配置将中止。

注意：Open MPI 1.7.2 中存在一个错误，如果您使用 --enable-static 配置库，则会收到错误消息。要解决此错误，请将以下内容添加到配置行并重新配置。这会禁用 PML BFO 的构建，无论如何，该 PML BFO 基本上都未使用。此错误在 Open MPI 1.7.3 中已修复。

--enable-mca-no-build=pml-bfo

配置 Open MPI 1.7.3 及更高版本

在 Open MPI 1.7.3 及更高版本中，libcuda.so 库是动态加载的，因此无需在配置时指定它的路径。因此，您所需要的只是 cuda.h 头文件的路径。

1. 在默认位置搜索。在 /usr/local/cuda/include 中查找 cuda.h。

   ./configure --with-cuda
   

2. 在 /usr/local/cuda-v5.0/cuda/include 中搜索 cuda.h。

   ./configure --with-cuda=/usr/local/cuda-v5.0/cuda
   

请注意，您不能配置--disable-dlopen因为这将破坏 Open MPI 库动态加载 libcuda.so 的能力。

See

此常见问题解答条目 http://www.open-mpi.org/faq/?category=running#mpi-cuda-support有关如何使用 CUDA 支持的详细信息。

请注意，这些说明假定您对构建 OpenMPI 有一定的了解。仅仅跑步是不够的./configure ...之后是 make 和 make install 步骤。但上述配置命令是 CUDA 感知的 OpenMPI 构建与普通构建的区别。