如何有效地对一个数组中某个值在另一个数组中的位置出现的次数求和

我正在寻找一种有效的“for 循环”避免解决方案来解决我遇到的数组相关问题。我想使用一个巨大的一维数组(A -> size = 250.000)用于一维索引的 0 到 40 之间的值，以及用于第二维索引的具有 0 到 9995 之间的值的相同大小的数组 (B)。

结果应该是一个大小为 (41, 9996) 的数组，其中每个索引包含数组 1 中的任何值在数组 2 中的值中出现的次数。

Example:

A = [0, 3, 2, 4, 3]
B = [1, 2, 2, 0, 2]
which should result in:
[[0, 1, 0,
 [0, 0, 0,
 [0, 0, 1,
 [0, 0, 2,
 [1, 0, 0]] 

由于数据量巨大，脏方法太慢，你可以做的是：

out = np.zeros(41,9995)
for i in A:
  for j in B:
     out[i,j] += 1 

这将需要 238.000 * 238.000 次循环... 我已经尝试过这个，部分有效：

out = np.zeros(41,9995)
out[A,B] += 1

无论这些值出现多少次，它都会生成到处都是 1 的结果。

有谁知道如何解决这个问题？提前致谢！

您正在寻找一个稀疏张量 https://pytorch.org/docs/stable/sparse.html:

import torch

A = [0, 3, 2, 4, 3]
B = [1, 2, 2, 0, 2]
idx = torch.LongTensor([A, B])
torch.sparse.FloatTensor(idx, torch.ones(idx.shape[1]), torch.Size([5,3])).to_dense()

Output:

tensor([[0., 1., 0.],
        [0., 0., 0.],
        [0., 0., 1.],
        [0., 0., 2.],
        [1., 0., 0.]])

你也可以用同样的方法scipy稀疏矩阵 https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.coo_matrix.html#scipy.sparse.coo_matrix:

import numpy as np
from scipy.sparse import coo_matrix

coo_matrix((np.ones(len(A)), (np.array(A), np.array(B))), shape=(5,3)).toarray()

output:

array([[0., 1., 0.],
       [0., 0., 0.],
       [0., 0., 1.],
       [0., 0., 2.],
       [1., 0., 0.]])

有时，最好让矩阵保持稀疏表示，而不是强迫它再次变得“稠密”。