我想在 3D 中打乱值numpy-array，但仅当它们 > 0 时。
当我使用单核运行函数时，它比使用 2 个核运行要快得多。这远远超出了创建新的 python 进程的开销。我缺少什么？
以下代码输出：
random shuffling of markers started
time in serial execution: 1.0288s
time executing in parallel with num_cores=1: 0.9056s
time executing in parallel with num_cores=2: 273.5253s
import numpy as np
import time
from random import shuffle
from joblib import Parallel, delayed
import multiprocessing
import numpy as np
def randomizeVoxels(V,markerLUT):
V_rand=V.copy()
# the xyz naming here does not match outer convention, which will depend on permutation
for ix in range(V.shape[0]):
for iy in range(V.shape[1]):
if V[ix,iy]>0:
V_rand[ix,iy]=markerLUT[V[ix,iy]]
return V_rand
V_ori=np.arange(1000000,-1000000,-1).reshape(100,100,200)
V_rand=V_ori.copy()
listMarkers=np.unique(V_ori)
listMarkers=[val for val in listMarkers if val>0]
print("random shuffling of markers started\n")
reassignedMarkers=listMarkers.copy()
#random shuffling of original markers
shuffle(reassignedMarkers)
markerLUT={}
for i,iMark in enumerate(listMarkers):
markerLUT[iMark]=reassignedMarkers[i]
tic=time.perf_counter()
for ix in range(len(V_ori)):
for iy in range(len(V_ori[0])):
for iz in range(len(V_ori[0][0])):
if V_ori[ix,iy,iz]>0:
V_rand[ix,iy,iz]=markerLUT[V_ori[ix,iy,iz]]
toc=time.perf_counter()
print("time in serial execution: \t\t\t{: >4.4f} s".format(toc-tic))
#######################################################################3
num_cores = 1
V_rand=V_ori.copy()
tic=time.perf_counter()
results= Parallel(n_jobs=num_cores)\
(delayed(randomizeVoxels)\
(V_ori[imSlice,:,:],
markerLUT
)for imSlice in range(V_ori.shape[0]))
for i,resTuple in enumerate(results):
V_rand[i,:,:]=resTuple
toc=time.perf_counter()
print("time executing in parallel with num_cores={}:\t{: >4.4f} s".format(num_cores,toc-tic))
num_cores = 2
V_rand=V_ori.copy()
MASK = "time executing in parallel with num_cores={}:\t {: >4.4f}s"
tic=time.perf_counter() #----------------------------- [PERF-me]
results= Parallel(n_jobs=num_cores)\
(delayed(randomizeVoxels)\
(V_ori[imSlice,:,:],
markerLUT
)for imSlice in range(V_ori.shape[0]))
for i,resTuple in enumerate(results):
V_rand[i,:,:]=resTuple
toc=time.perf_counter() #----------------------------- [PERF-me]
print( MASK.format(num_cores,toc-tic) )
Q : “我错过了什么？”
最有可能的是内存 I/O 瓶颈。
虽然numpy-这里处理的一部分似乎相当浅（shuffle 不计算一点，而是在一对位置之间移动数据，不是吗？），在大多数情况下，这不允许“时间足够” “（通过做任何有用的工作）以便让内存 I/O 被重新排序的 CPU 核心指令屏蔽（参考 1）。延迟成本用于当代超标量 CISC 架构最低级别的直接 + 跨 QPI 内存 I/O 操作，具有高度推测性分支预测（对于内存 I/O 绑定的非分支精心制作的部分没有用）和多核和多核 NUMA 设计）。
This is most probably why even the first spin-off concurrent process (no matter if enforced for camping on the same (here a shared-CPU-core time by an interleaving pair of a two-step dancing processes, again memory-I/O bound, with even worse chances for latency masking on shared memory-I/O channels...) or any other (here adding cross-QPI add-on latency costs if having to perform non-local memory-I/O, again worsening chances for memory-I/O latency-masking) CPU-core.
由 CPU 时钟升压策略的冲突效应强制执行的 CPU 核心跳跃（后来开始违反热管理，因此跳跃进程以驻扎在下一个较冷的 CPU 核心上）将使所有 CPU 核心缓存优势失效，由于下一个较冷的核心上没有预缓存的数据可用，因此必须再次重新获取所有（一旦预缓存到最快的 L1data 缓存中）数据（也许，对于内存占用较大的数组对象，甚至需要跨 QPI 获取），因此利用更多内核不会对最终效率产生微不足道的影响。
;o)
Thenumpy高性能和智能处理并不是应该受到指责的地方 - 恰恰相反 - 它显然揭开了 CPU 的面纱”饥饿“状态 - 多年来一直被认为是我们所有现代 CPU 的性能上限 - 这就是为什么我们看到如此多核心的 CPU，它们试图通过拥有越来越多的核心来规避这个瓶颈 - 请参阅引用的评论硅级分析多于。
最后但并非最不重要的
代码原样包含大量提高其性能的机会，numpy-smart-vectorized 是第一个命名的，避免range()-循环，所以有更多的技巧需要遵循，所有这些最终都会让你陷入同样的麻烦——CPU 饥饿上限