MPI_SEND 在 MPI_BARRIER 之后停止工作

我正在 C/MPI 中构建一个分布式 Web 服务器，在我的代码中的第一个 MPI_BARRIER 之后，点对点通信似乎完全停止工作。标准 C 代码在屏障之后工作，因此我知道每个线程都可以通过屏障。点对点通信在障碍物之前也能正常工作。但是，当我将在屏障之前的行工作的相同代码复制粘贴到屏障之后的行时，它完全停止工作。 SEND 将永远等待。当我尝试使用 ISEND 时，它会通过线路，但从未收到消息。我经常在谷歌上搜索这个问题，每个对 MPI_BARRIER 有问题的人都被告知屏障工作正常，而他们的代码是错误的，但我一生都无法弄清楚为什么我的代码是错误的。什么可能导致这种行为？

这是一个演示这一点的示例程序：

#include <mpi.h>
#include <stdio.h>

int main(int argc, char *argv[])
{
  int procID;
  int val;
  MPI_Status status;

  MPI_Init(&argc, &argv);
  MPI_Comm_rank(MPI_COMM_WORLD, &procID);
  MPI_Barrier(MPI_COMM_WORLD);

  if (procID == 0)
  {
    val = 4;
    printf("Before send\n");
    MPI_Send(&val, 1, MPI_INT, 1, 4, MPI_COMM_WORLD);
    printf("after send\n");
  }

  if (procID == 1)
  {
    val = 1;
    printf("before: val = %d\n", val);
    MPI_Recv(&val, 1, MPI_INT, MPI_ANY_SOURCE, MPI_ANY_TAG, MPI_COMM_WORLD, &status);
    printf("after: val = %d\n", val);
  }

  MPI_Finalize();
  return 0;
}

移动两人if屏障之前的语句会导致该程序正确运行。

EDIT- 看来第一次通信，无论类型如何，都能正常工作，而以后的所有通信都会失败。这比我一开始的想法要普遍得多。无论第一次通信是障碍还是其他消息，未来的通信都无法正常工作。

当 Open MPI 使用 TCP/IP 进行通信时，它有一个已知的功能：它尝试使用all配置的网络接口处于“UP”状态。如果无法通过所有这些接口访问某些其他节点，这就会出现问题。这是 Open MPI 采用的贪婪通信优化的一部分，有时（就像您的情况一样）会导致问题。

看来至少第二个节点有多个已启动的接口，并且这一事实是在协商阶段引入到第一个节点的：

• 一个配置为 128.2.100.167
• 一台配置了 192.168.109.1（您的机器上是否运行隧道或 Xen？）

障碍通信发生在第一个网络上，然后是下一个网络上MPI_Send尝试通过第二个网络发送到第二个地址，该网络显然没有连接所有节点。

最简单的解决方案是告诉 Openmp 仅使用连接节点的网络。您可以使用以下 MCA 参数告诉它这样做：

--mca btl_tcp_if_include 128.2.100.0/24

（或者无论您的通信网络是什么）

如果所有计算机上的网络接口列表都相同，您还可以指定网络接口列表，例如

--mca btl_tcp_if_include eth0

或者您可以告诉 Open MPI 专门排除某些接口（但如果这样做，您必须始终告诉它排除环回“lo”）：

--mca btl_tcp_if_exclude lo,virt0

希望这对您和许多其他在 SO 似乎遇到相同问题的人有所帮助。看起来最近几乎所有 Linux 发行版都开始默认提供各种网络接口，这可能会导致 Open MPI 出现问题。

附：请将这些节点置于防火墙后面！