numpy 中两个二维掩码数组的快速内积

我的问题如下。我有两个数组X and Y形状为 n, p 其中p>>n（例如 n = 50，p = 10000）。

我也有口罩mask（大小为布尔值的一维数组p） 关于p, of small密度（例如np.mean(mask)为 0.05)。

我尝试尽可能快地计算内积X and Y关于mask： 输出inner是一个形状数组n, n，并且是这样的inner[i, j] = np.sum(X[i, np.logical_not(mask)] * Y[j, np.logical_not(mask)]).

我尝试过使用numpy.ma库，但对我来说它的使用速度相当慢：

import numpy as np
import numpy.ma as ma
n, p = 50, 10000
density = 0.05
mask = np.array(np.random.binomial(1, density, size=p), dtype=np.bool_)
mask_big = np.ones(n)[:, None] * mask[None, :]
X = np.random.randn(n, p)
Y = np.random.randn(n, p)
X_ma = ma.array(X, mask=mask_big)
Y_ma = ma.array(Y, mask=mask_big)

但后来，在我的机器上，X_ma.dot(Y_ma.T)大约慢5倍X.dot(Y.T)...

首先，我认为这是一个问题.dot殊不知面具只是相对而言p但我不知道是否可以使用这些信息。

我正在寻找一种执行计算的方法，而又不会比天真的点慢很多。

多谢 ！

我们可以用matrix-multiplication有和没有屏蔽版本，因为从完整版本中屏蔽减法会产生我们想要的输出 -

inner = X.dot(Y.T)-X[:,mask].dot(Y[:,mask].T)

或者简单地使用反向蒙版，虽然对于稀疏的情况会更慢mask -

inner = X[:,~mask].dot(Y[:,~mask].T)

时间安排 -

In [34]: np.random.seed(0)
    ...: p,n = 10000,50
    ...: X = np.random.rand(n,p)
    ...: Y = np.random.rand(n,p)
    ...: mask = np.random.rand(p)>0.95

In [35]: mask.mean()
Out[35]: 0.0507

In [36]: %timeit X.dot(Y.T)-X[:,mask].dot(Y[:,mask].T)
100 loops, best of 3: 2.54 ms per loop

In [37]: %timeit X[:,~mask].dot(Y[:,~mask].T)
100 loops, best of 3: 4.1 ms per loop

In [39]: %%timeit
    ...: inner = np.empty((n,n))
    ...: for i in range(X.shape[0]):
    ...:     for j in range(X.shape[0]):
    ...:         inner[i, j] = np.sum(X[i, ~mask] * Y[j, ~mask])
1 loop, best of 3: 302 ms per loop