我已经调试了这个程序2周了。它只有 93 行。但我仍然找不到错误。请帮我。
这个程序在我的笔记本电脑上运行正常。但是当我在我的实验室、上海超算中心和济南超算中心的集群上运行时，就卡住了。
这个程序的逻辑非常简单。有 2 个 MPI 进程。一个是主站（pid = 0），另一个是从站（pid = 1）。主站等待 tag = 0 上的请求。从站每秒向主站 tag:0 发送消息并等待 ACK 消息。一旦主机收到请求，主机将向从机 tag:100 发送 ACK 消息。
问题是几秒钟后程序就会卡住。 Master 将停留在 MPI_Recv，等待 tag:0 上的请求。从站将停留在 MPI_Ssend，尝试向主站 tag:0 发送消息。
此 MPI 通信应相互匹配。但不知道为什么卡住了。
一些提示：
程序在以下情况下不会卡住：
1.在pthread_create(&tid,&attr,master_server_handler,NULL);后面添加sleep()函数在 void *master_server(void *null_arg) 函数中。
Or
2.使用joinable pthread属性而不是detachable属性来创建master_server_handler。 (pthread_create(&tid,&attr,master_server_handler,NULL); 将其替换为 pthread_create(&tid,NULL,master_server_handler,NULL); ）
Or
3.使用master_server_handler函数代替pthread_create(&tid,&attr,master_server_handler,NULL);。
Or
4.将 void *master_server_handler(void *arg) 中的 MPI_Ssend 替换为 MPI_Send。
该程序在每种情况下都可以。
所有这些修改都可以在程序的注释中找到。
不知道为什么会卡住。我尝试了 openmpi 和 mpich2。该程序将卡在他们两个上。
任何提示请...
如果需要的话我可以提供我实验室的VPN。您可以登录我实验室的集群。
（电子邮件：[电子邮件受保护] /cdn-cgi/l/email-protection)
顺便提一句：
我在编译openmpi和mpich2时启用了线程支持的参数。对于 openmpi，参数为 --with-threads=poxis --enable-mpi-thread-multiple。 Mpich2 是 --enable-threads。
我实验室的机器是CentOS。 uname -a 的输出是 Linux node5 2.6.18-238.12.1.el5xen #1 SMP Tue May 31 14:02:29 EDT 2011 x86_64 x86_64 x86_64 GNU/Linux。
我使用以下方式运行该程序：mpiexec -n 2 ./a.out
以下是源代码、程序的输出、程序卡住时的回溯信息。
源代码
#include "stdio.h"
#include "pthread.h"
#include "stdlib.h"
#include "string.h"
#include "mpi.h"
void send_heart_beat();
void *heart_beat_daemon(void *null_arg);
void *master_server(void *null_arg);
void *master_server_handler(void *arg);
int main(int argc,char *argv[])
{
int p,id;
pthread_t tid;
MPI_Init(&argc,&argv);
MPI_Comm_size(MPI_COMM_WORLD,&p);
MPI_Comm_rank(MPI_COMM_WORLD,&id);
if(id==0)
{
//master
pthread_create(&tid,NULL,master_server,NULL);
pthread_join(tid,NULL);
}
else
{
//slave
pthread_create(&tid,NULL,heart_beat_daemon,NULL);
pthread_join(tid,NULL);
}
MPI_Finalize();
return 0;
}
void *heart_beat_daemon(void *null_arg)
{
while(1)
{
sleep(1);
send_heart_beat();
}
}
void send_heart_beat()
{
char send_msg[5];
char ack_msg[5];
strcpy(send_msg,"AAAA");
MPI_Ssend(send_msg,5,MPI_CHAR,0,0,MPI_COMM_WORLD);
MPI_Recv(ack_msg,5,MPI_CHAR,0,100,MPI_COMM_WORLD,MPI_STATUS_IGNORE);
}
void *master_server(void *null_arg)
{
char msg[5];
pthread_t tid;
pthread_attr_t attr;
pthread_attr_init(&attr);
pthread_attr_setdetachstate(&attr,PTHREAD_CREATE_DETACHED);
while(1)
{
MPI_Recv(msg,5,MPI_CHAR,1,0,MPI_COMM_WORLD,MPI_STATUS_IGNORE);
pthread_create(&tid,&attr,master_server_handler,NULL);
// sleep(2);
// master_server_handler(NULL);
// pthread_create(&tid,NULL,master_server_handler,fun_arg);
// pthread_join(tid,NULL);
}
}
void *master_server_handler(void *arg)
{
static int count;
char ack[5];
count ++;
printf("recved a msg %d\n",count);
strcpy(ack,"ACK:");
MPI_Ssend(ack,5,MPI_CHAR,1,100,MPI_COMM_WORLD);
// MPI_Send(ack,5,MPI_CHAR,1,100,MPI_COMM_WORLD);
}
程序的输出：
recved a msg 1
recved a msg 2
recved a msg 3
recved a msg 4
recved a msg 5
recved a msg 6
recved a msg 7
recved a msg 8
recved a msg 9
recved a msg 10
recved a msg 11
recved a msg 12
recved a msg 13
recved a msg 14
recved a msg 15
卡住时master的回溯：
(gdb) bt
#0 opal_progress () at runtime/opal_progress.c:175
#1 0x00002b17ed288f75 in opal_condition_wait (addr=<value optimized out>,
count=<value optimized out>, datatype=<value optimized out>, src=1, tag=0,
comm=0x601520, status=0x0) at ../../../../opal/threads/condition.h:99
#2 ompi_request_wait_completion (addr=<value optimized out>,
count=<value optimized out>, datatype=<value optimized out>, src=1, tag=0,
comm=0x601520, status=0x0) at ../../../../ompi/request/request.h:377
#3 mca_pml_ob1_recv (addr=<value optimized out>, count=<value optimized out>,
datatype=<value optimized out>, src=1, tag=0, comm=0x601520, status=0x0)
at pml_ob1_irecv.c:105
#4 0x00002b17ed1ef049 in PMPI_Recv (buf=0x2b17f2495120, count=5,
type=0x601320, source=1, tag=0, comm=0x601520, status=0x0) at precv.c:78
#5 0x0000000000400d75 in master_server (null_arg=0x0) at main.c:73
#6 0x0000003b5a00683d in start_thread () from /lib64/libpthread.so.0
#7 0x0000003b594d526d in clone () from /lib64/libc.so.6
卡住时从站的回溯：
(gdb) bt
#0 0x00002adff87ef975 in opal_atomic_cmpset_32 (btl=<value optimized out>, endpoint=<value optimized out>,
registration=0x0, convertor=0x124e46a8, order=0 '\000', reserve=32, size=0x2adffda74fe8, flags=3)
at ../../../../opal/include/opal/sys/amd64/atomic.h:85
#1 opal_atomic_lifo_pop (btl=<value optimized out>, endpoint=<value optimized out>, registration=0x0,
convertor=0x124e46a8, order=0 '\000', reserve=32, size=0x2adffda74fe8, flags=3)
at ../../../../opal/class/opal_atomic_lifo.h:100
#2 mca_btl_sm_prepare_src (btl=<value optimized out>, endpoint=<value optimized out>, registration=0x0,
convertor=0x124e46a8, order=0 '\000', reserve=32, size=0x2adffda74fe8, flags=3) at btl_sm.c:697
#3 0x00002adff8877678 in mca_bml_base_prepare_src (sendreq=0x124e4600, bml_btl=0x124ea860, size=5, flags=0)
at ../../../../ompi/mca/bml/bml.h:339
#4 mca_pml_ob1_send_request_start_rndv (sendreq=0x124e4600, bml_btl=0x124ea860, size=5, flags=0)
at pml_ob1_sendreq.c:815
#5 0x00002adff8869e82 in mca_pml_ob1_send_request_start (buf=0x2adffda75100, count=5,
datatype=<value optimized out>, dst=0, tag=0, sendmode=MCA_PML_BASE_SEND_SYNCHRONOUS, comm=0x601520)
at pml_ob1_sendreq.h:363
#6 mca_pml_ob1_send (buf=0x2adffda75100, count=5, datatype=<value optimized out>, dst=0, tag=0,
sendmode=MCA_PML_BASE_SEND_SYNCHRONOUS, comm=0x601520) at pml_ob1_isend.c:119
#7 0x00002adff87d2be6 in PMPI_Ssend (buf=0x2adffda75100, count=5, type=0x601320, dest=0, tag=0,
comm=0x601520) at pssend.c:76
#8 0x0000000000400cf4 in send_heart_beat () at main.c:55
#9 0x0000000000400cb6 in heart_beat_daemon (null_arg=0x0) at main.c:44
#10 0x0000003b5a00683d in start_thread () from /lib64/libpthread.so.0
#11 0x0000003b594d526d in clone () from /lib64/libc.so.6
