16 字节实数的 MPI_AllReduce 的奇怪结果

编译器：gfortran-4.8.5

MPI 库：OpenMPI-1.7.2（预装 OpenSuSE 13.2）

这个程序：

  use mpi
  implicit none

  real*16 :: x
  integer :: ierr, irank, type16

  call MPI_Init(ierr)

  call MPI_Comm_Rank(MPI_Comm_World, irank, ierr)

  if (irank+1==1) x = 2.1
  if (irank+1==8) x = 2.8
  if (irank+1==7) x = 5.2
  if (irank+1==4) x = 6.7
  if (irank+1==6) x = 6.5
  if (irank+1==3) x = 5.7
  if (irank+1==2) x = 4.0
  if (irank+1==5) x = 6.8

  print '(a,i0,a,f3.1)', "rank+1: ",irank+1," x: ",x

  call MPI_AllReduce(MPI_IN_PLACE, x, 1, MPI_REAL16, MPI_MAX, MPI_Comm_World, ierr)

  if (irank==0) print '(i0,a,f3.1)', irank+1," max x: ", x

  call MPI_Finalize(ierr)
end

我也尝试过real(16), real(kind(1.q0)). real(real128)实际上相当于real*10对于这个编译器。

结果是：

> mpif90 reduce16.f90 
> mpirun -n 8 ./a.out 
rank+1: 1 x: 2.1
rank+1: 2 x: 4.0
rank+1: 3 x: 5.7
rank+1: 4 x: 6.7
rank+1: 5 x: 6.8
rank+1: 6 x: 6.5
rank+1: 7 x: 5.2
rank+1: 8 x: 2.8
1 max x: 2.8

该程序找到了真正的最大值real*10保持MPI_REAL16。 MPI 规范（3.1，第 628 和 674 页）不是很清楚，如果MPI_REAL16对应于real*16 or real(real128)如果这些不同。

另外，假设MPI_REAL16实际上是real(real128)尝试在程序中使用它会导致不同的问题：

Error: There is no specific subroutine for the generic 'mpi_recv' at (1)
Error: There is no specific subroutine for the generic 'mpi_send' at (1)

这不会发生在real*16。 （忽略应该能够通过任何位模式，所以这个检查是多余的）

使用 16 字节实数的正确方法是什么？ OpenMPI 库是否有错误？

虽然这应该在每个 MPI 实现中都能正常工作，但一个简单的解决方法是为这种类型实现用 Fortran 编写的用户定义的归约，因此在 C 中实现它没有问题（这就是 MPICH 和 OpenMPI 尝试的方式）做所有事情，因此当 C 无法重现 Fortran 的行为时会出现问题）。

下面是实现这一点的尝试。这是 Fortran 中用户定义的缩减。我确信经验丰富的现代 Fortran 程序员可以做得更好。

  subroutine sum_real16(iv,iov,n)
    implicit none
    integer, intent(in) ::  n
    real*16, intent(in) :: iv(:)
    real*16, intent(inout) :: iov(:)
    integer :: i
    do i = 1,n
      iov(i) = iov(i) + iv(i)
    enddo
  end subroutine sum_real16
  subroutine reduce_sum_real16(iv, iov, n, dt)
    use, intrinsic ::  iso_c_binding, only : c_ptr
    use mpi_f08
    implicit none
    type(c_ptr), value ::  iv, iov
    integer ::  n
    type(MPI_Datatype) ::  dt
    if ( dt .eq. MPI_REAL16 ) then
        call sum_real16(iv,iov,n)
    endif
  end subroutine reduce_sum_real16
  program test_reduce_sum_real16
    use, intrinsic ::  iso_c_binding
    use mpi_f08
    implicit none
    integer, parameter ::  n = 10
    real*16 :: output(n)
    real*16 :: input(n)
    real*16 :: error
    integer :: me, np
    procedure(MPI_User_function) :: reduce_sum_real16
    type(MPI_Op) :: mysum
    integer :: i
    call MPI_Init()
    call MPI_Comm_rank(MPI_COMM_WORLD,me)
    call MPI_Comm_size(MPI_COMM_WORLD,np)
    output = 0.0
    input  = 1.0*me
    call MPI_Op_create(reduce_sum_real16,.true.,mysum)
    call MPI_Allreduce(input,output,n,MPI_REAL16,mysum,MPI_COMM_WORLD)
    error = 0.0
    do i = 1,n
      error = error + (output(i)-1.0*np)
    enddo
    if (error.gt.0.0) then
        print*,'SAD PANDA = ',error
        call MPI_Abort(MPI_COMM_SELF,1)
    endif
    call MPI_Op_free(mysum)
    call MPI_Finalize()
  end program test_reduce_sum_real16

该程序使用 Intel 16 Fortran 编译器和 MPICH 3.2+ 正常返回。显然我没有正确使用 I/O，所以我对这个程序正确性的信心并不像我可以将所有结果写入标准输出那样高。