MPI_Comm_spawn 和 MPI_Reduce

我有两个程序。 “主人”产生“工作人员”，执行一些计算，我希望主人从工作人员那里获取结果并存储总和。我正在尝试使用 MPI_Reduce 从工作人员收集结果，工作人员使用 MPI_Reduce 将结果发送给主机 MPI_Comm。我不确定这是否正确。这是我的程序：

Master:

#include <mpi.h>
#include <iostream>
using namespace std;

int main(int argc, char *argv[]) { 
    int world_size, universe_size, *universe_sizep, flag; 

    int rc, send, recv;

    // intercommunicator
    MPI_Comm everyone;

    MPI_Init(&argc, &argv); 
    MPI_Comm_size(MPI_COMM_WORLD, &world_size); 

    if (world_size != 1) {
        cout << "Top heavy with management" << endl;
    } 

    MPI_Attr_get(MPI_COMM_WORLD, MPI_UNIVERSE_SIZE, &universe_sizep, &flag);  
    if (!flag) { 
        cout << "This MPI does not support UNIVERSE_SIZE. How many processes total?";
        cout << "Enter the universe size: ";
        cin >> universe_size; 
    } else {
        universe_size = *universe_sizep;
    }
    if (universe_size == 1) {
        cout << "No room to start workers" << endl;
    }

    MPI_Comm_spawn("so_worker", MPI_ARGV_NULL, universe_size-1,  
             MPI_INFO_NULL, 0, MPI_COMM_SELF, &everyone,  
             MPI_ERRCODES_IGNORE);

    send = 0;

    rc = MPI_Reduce(&send, &recv, 1, MPI_INT, MPI_SUM, 0, everyone);

    // store result of recv ...
    // other calculations here
    cout << "From spawned workers recv: " << recv << endl;

    MPI_Finalize(); 
    return 0; 
}

Worker:

#include <mpi.h>
#include <iostream>
using namespace std;

int main(int argc, char *argv[]) { 

    int rc, send,recv;


    int parent_size, parent_id, my_id, numprocs; 
    // parent intercomm
    MPI_Comm parent; 
    MPI_Init(&argc, &argv); 

    MPI_Comm_get_parent(&parent); 
    if (parent == MPI_COMM_NULL) {
        cout << "No parent!" << endl;
    }
    MPI_Comm_remote_size(parent, &parent_size); 
    MPI_Comm_rank(parent, &parent_id) ; 
    //cout << "Parent is of size: " << size << endl;
    if (parent_size != 1) {
        cout << "Something's wrong with the parent" << endl;
    }

    MPI_Comm_rank(MPI_COMM_WORLD, &my_id) ;     
    MPI_Comm_size(MPI_COMM_WORLD, &numprocs) ;  

    cout << "I'm child process rank "<< my_id << " and we are " << numprocs << endl;
    cout << "The parent process rank "<< parent_id << " and we are " << parent_size << endl;

    // get value of send
    send = 7; // just an example
    recv = 0;

    rc = MPI_Reduce(&send, &recv, 1, MPI_INT, MPI_SUM, parent_id, parent);
    if (rc != MPI_SUCCESS)
        cout << my_id << " failure on mpi_reduce in WORKER" << endl;

    MPI_Finalize(); 
    return 0; 
} 

我编译了两者并像这样执行（用于 osx 的 mpic++）：

mpic++ so_worker.cpp -o so_worker
mpic++ so_master.cpp -o so_master
mpirun -n 1 so_master

这是运行产生工人的主机的正确方法吗？

在 master 中，我总是从 MPI_Reduce 返回 0。我可以使用互通器中的 MPI_reduce 还是应该使用工作器中的 MPI_Send 和主机中的 MPI_Recv ？我真的不知道为什么它不起作用。

任何帮助，将不胜感激。谢谢！

MPI_Comm_get_parent返回包含原始进程和所有衍生进程的父交互通信器。在这种情况下调用MPI_Comm_rank(parent, &parent_id)不返回父进程的排名，而是返回当前进程在内部通信器的本地组中的排名：

I'm child process rank 0 and we are 3
The parent process **rank 0** and we are 1
I'm child process rank 1 and we are 3
The parent process **rank 1** and we are 1
I'm child process rank 2 and we are 3
The parent process **rank 2** and we are 1

（观察突出显示的值有何不同 - 人们会期望父进程的排名应该相同，不是吗？）

这就是为什么MPI_Reduce()调用不会成功，因为所有工作进程为根等级指定不同的值。由于最初有一个主进程，因此它在远程组中的排名parent将会0因此所有工人都应该指定0作为根MPI_Reduce:

//
// Worker code
//
rc = MPI_Reduce(&send, &recv, 1, MPI_INT, MPI_SUM, 0, parent);

这只是问题的一半。另一半是根深蒂固的集体行动（例如MPI_REDUCE）与内部通信器的操作有点不同。首先必须决定两个组中的哪一个将托管根。一旦确定了根组，根进程就必须通过MPI_ROOT作为价值root in MPI_REDUCE根组中的所有其他进程都必须通过MPI_PROC_NULL。也就是说，接收组中的进程根本不参与根集体操作。由于主代码的编写方式使得主组中只能有一个进程，因此只需将调用更改为MPI_Reduce在主代码中：

//
// Master code
//
rc = MPI_Reduce(&send, &recv, 1, MPI_INT, MPI_SUM, MPI_ROOT, everyone);

请注意，master 本身也不参与归约操作，例如的价值sendbuf (&send在这种情况下）是无关紧要的，因为根不会发送要减少的数据 - 它只是收集对来自远程组中的进程的值执行减少的结果。