如何使用 OpenCV 使用多处理并行处理图像？

我的文件夹中有一组图像，我想使用一些 OpenCV 函数对其进行预处理。功能

detectAndaligncrop

使用 OpenCV 对其图像路径进行预处理并返回输出图像。 我可以使用以下方法来做到这一点：

for image_path in files_list:
   cropped_image, _=detectAndaligncrop(im)
   cv2.imwrite("ouput_folder/{}".format(os.path.basename(image_path)),cropped_im*255.)

但这不起作用：

jobs=[]
for im_no, im in enumerate(files_list):
    p=multiprocessing.Process(target=saveIm,args=[im])
    jobs.append(p)
    p.start()
for j in jobs:
    j.join()

其中 saveIm 是：

im,lm=detectAndaligncrop(im_path)
        fname="output_path/cropped2/{}".format(os.path.basename(im_path))
        cv2.imwrite(fname,im)

我已经验证它调用了 detectorAndaligncrop 函数，但不处理从该行开始的图像

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

在 detectorAndaligncrop 内部调用，因为每个图像都会调用“before cvtColor”，而“after cvtColor”则不会：

def detectAndaligncrop(impath):
    image=cv2.imread(impath)
    image_float=np.float32(image)/255.0
    print ("before cvtcolor")
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    print ("after cvtcolor")
    return gray, 1

另外，我尝试过：

with ThreadPoolExecutor(max_workers=32) as execr:
    res=execr.map(saveIm,files_list)

这可以工作，但并不比简单地运行 for 循环更快。是因为GIL吗？

我需要一种多重处理方法来预处理图像，然后再将其输入神经网络。我发现这个页面叫做令人尴尬的并行 for 循环 https://pythonhosted.org/joblib/parallel.html其中对数组/列表中的元素并行运行数学任务。我想知道这是否可以扩展到图像（毕竟图像只不过是数组，大的 3D 数组！）

我决定执行添加加权 https://docs.opencv.org/2.4/modules/core/doc/operations_on_arrays.html#addweighted从 OpenCV 到图像集合的操作。使用此操作，您可以对两个图像应用不同的权重并将它们相加。它用于尽可能混合图像see here https://docs.opencv.org/3.0-beta/doc/py_tutorials/py_core/py_image_arithmetics/py_image_arithmetics.html#image-blending

我执行了这个功能with and withoutjoblib 在我的桌面上查找一组图像并比较它们的性能。最后我提到了图像的数量以及所使用的这些图像的集体大小。

Code:

import os
import time

#--- Importing the required library ---
from joblib import delayed

#--- Choosing all available image formats of images from my desktop ---
path = r'C:\Users\Jackson\Desktop'
img_formats = ['.png', '.jpg', '.jpeg']

#--- Defining the addWeighted function from OpenCV ---
def weight(im):
    addweighted = cv2.addWeighted(im, 0.7, cv2.GaussianBlur(im, (15, 15), 0), 0.3, 0)
    return addweighted


#--- Using joblib library-----
start_time = time.time()

new_dir = os.path.join(path, 'add_Weighted_4_joblib')
if not os.path.exists(new_dir):
    os.makedirs(new_dir)

def joblib_loop():
    for f in os.listdir(path):
        if any(c in f for c in img_formats):
            img = cv2.imread(os.path.join(path, f))
            r = delayed(weight)(img)
            cv2.imwrite(os.path.join(new_dir, f + '_add_weighted_.jpg'), r)

elapsed_time = time.time() - start_time
print('Using Joblib : ', elapsed_time)

#--- Without joblib ---
start_time = time.time()

#--- Check whether directory exists if not make one
new_dir = os.path.join(path, 'add_Weighted_4')
if not os.path.exists(new_dir):
    os.makedirs(new_dir)

for f in os.listdir(path):
    if any(c in f for c in img_formats):
        img = cv2.imread(os.path.join(path, f))
        r = weight(img)
        cv2.imwrite(os.path.join(new_dir, f + '_add_weighted_.jpg'), r)

elapsed_time = time.time() - start_time
print('Without Joblib : ', elapsed_time)

这是我得到的结果：

('Using Joblib : ', 0.09400010108947754)
('Without Joblib : ', 15.386000156402588)

正如你所看到的使用joblib疯狂地加快操作速度！

现在让我向您展示我的桌面上有多少张图像以及它们的总大小是多少：

overall_size = 0
count = 0
#for f in os.listdir(path):
for  f in os.listdir(path):
    if any(c in f for c in img_formats):
        img = cv2.imread(os.path.join(path, f))
        overall_size+= img.size
        count+= 1

print('Collective Size of all {} images in the predefined path is {} MB'.format(count, overall_size/10**6))

结果：

Collective size of all 14 images in the predefined path is 58 MB