在 Cython 中分配中间多维数组而不获取 GIL

我正在尝试使用 Cython 并行化涉及生成中间多维数组的昂贵操作。

以下非常简化的代码说明了我正在尝试做的事情：

import numpy as np
cimport cython
cimport numpy as np
from cython.parallel cimport prange
from libc.stdlib cimport malloc, free


@cython.boundscheck(False)
@cython.wraparound(False)
def embarrasingly_parallel_example(char[:, :] A):

    cdef unsigned int m = A.shape[0]
    cdef unsigned int n = A.shape[1]
    cdef np.ndarray[np.float64_t, ndim = 2] out = np.empty((m, m), np.float64)
    cdef unsigned int ii, jj
    cdef double[:, :] tmp

    for ii in prange(m, nogil=True):
        for jj in range(m):

            # allocate a temporary array to hold the result of
            # expensive_function_1
            tmp_carray = <double * > malloc((n ** 2) * sizeof(double))

            # a 2D typed memoryview onto tmp_carray
            tmp = <double[:n, :n] > tmp_carray

            # shove the intermediate result in tmp
            expensive_function_1(A[ii, :], A[jj, :], tmp)

            # get the final (scalar) output for this ii, jj
            out[ii, jj] = expensive_function_2(tmp)

            # free the intermediate array
            free(tmp_carray)

    return out


# some silly examples - the actual operation I'm performing is a lot more
# involved
# ------------------------------------------------------------------------
@cython.boundscheck(False)
@cython.wraparound(False)
cdef void expensive_function_1(char[:] x, char[:] y, double[:, :] tmp):

    cdef unsigned int m = tmp.shape[0]
    cdef unsigned int n = x.shape[0]
    cdef unsigned int ii, jj

    for ii in range(m):
        for jj in range(m):
            tmp[ii, jj] = 0
            for kk in range(n):
                tmp[ii, jj] += (x[kk] + y[kk]) * (ii - jj)


@cython.boundscheck(False)
@cython.wraparound(False)
cdef double expensive_function_2(double[:, :] tmp):

    cdef unsigned int m = tmp.shape[0]
    cdef unsigned int ii, jj
    cdef double result = 0

    for ii in range(m):
        for jj in range(m):
            result += tmp[ii, jj]

    return result

编译失败的原因似乎至少有两个：

1. 基于输出cython -a，这里创建类型化内存视图：

   cdef double[:, :] tmp = <double[:n, :n] > tmp_carray
   

   似乎涉及Python API调用，因此我无法释放GIL以允许外循环并行运行。

   我的印象是类型化内存视图不是 Python 对象，因此子进程应该能够在不首先获取 GIL 的情况下创建它们。是这样吗？

2. Even if I replace prange(m, nogil=True) with a normal range(m), Cython still doesn't seem to like the presence of a cdef within the inner loop:

    Error compiling Cython file:
    ------------------------------------------------------------
    ...
                # allocate a temporary array to hold the result of
                # expensive_function_1
                tmp_carray = <double*> malloc((n ** 2) * sizeof(double))

                # a 2D typed memoryview onto tmp_carray
                cdef double[:, :] tmp = <double[:n, :n]> tmp_carray
                    ^
    ------------------------------------------------------------

    parallel_allocate.pyx:26:17: cdef statement not allowed here

Update

事实证明，通过移动就可以轻松解决第二个问题

 cdef double[:, :] tmp

之外的for循环，然后只是分配

 tmp = <double[:n, :n] > tmp_carray

循环内。但我仍然不完全理解为什么这是必要的。

现在如果我尝试使用prange我遇到了以下编译错误：

Error compiling Cython file:
------------------------------------------------------------
...
            # allocate a temporary array to hold the result of
            # expensive_function_1
            tmp_carray = <double*> malloc((n ** 2) * sizeof(double))

            # a 2D typed memoryview onto tmp_carray
            tmp = <double[:n, :n]> tmp_carray
               ^
------------------------------------------------------------

parallel_allocate.pyx:28:16: Memoryview slices can only be shared in parallel sections

免责声明：这里的一切都应该持保留态度。我更猜测知道。你当然应该问这个问题Cython 用户 https://groups.google.com/forum/#!forum/cython-users。他们总是很友好并且快速回答。

我同意 Cython 的文档不是很清楚：

[...]内存视图通常不需要 GIL：

cpdef int sum3d(int[:, :, :] arr) nogil: ...

特别是，您不需要 GIL 来进行内存视图索引、切片或转置。 Memoryviews 需要 GIL 来执行复制方法（C 和 Fortran 连续副本），或者当 dtype 为对象并且读取或写入对象元素时。

我认为这意味着传递内存视图参数，或使用它进行切片或转置不需要 Python GIL。然而，creating内存视图或copying需要 GIL。

支持这一点的另一个论点是 Cython 函数可以向 Python 返回内存视图。

from cython.view cimport array as cvarray
import numpy as np

def bla():
    narr = np.arange(27, dtype=np.dtype("i")).reshape((3, 3, 3))
    cdef int [:, :, :] narr_view = narr
    return narr_view

Gives:

>>> import hello
>>> hello.bla()
<MemoryView of 'ndarray' at 0x1b03380>

这意味着内存视图是在Python的GC管理内存中分配的，因此需要创建GIL。所以你不能在 nogil 部分创建内存视图

现在关于错误消息的问题

Memoryview 切片只能在并行部分中共享

我认为你应该将其读作“你不能拥有线程私有内存视图切片。它必须是线程共享内存视图切片”。