如何找到两个图像之间的所有共享区域

我一直在尝试找到一些可以自动找到两个图像之间所有共享区域的东西not基于像素匹配或差异，经过相当多的搜索后我基本上什么也没得到。

假设我有以下两张图片，在本例中是网站屏幕截图。第一个“基线”：

第二个非常相似，但修改了一些 CSS，所以整个块都被移动了。没有文本内容更改，没有框尺寸更改，只是重新定位了一些元素：

在这种情况下（而且实际上在所有其他情况下，要比较两个图像，其中一个图像是另一个图像的衍生图像），它们的像素差异对于查看发生了什么变化实际上是无用的：

事实上，即使我们应用一些简单的 diff 夸大，结果也是这样still相当无用，因为我们仍在查看像素差异，而不是基于什么的差异changed，所以我们不会（以任何方式）查看视觉信息的实际修改：

所以这就像比较两本书，然后根据有多少个值来确定这两本书是不同的n我们可以找到哪个book1.letters[n] != book2.letters[n]...

因此，我正在寻找一种计算相似区域的方法，显示两个图像的哪些部分编码相同的信息，但不一定在相同的边界框中。

例如，在上面的两张图中，几乎所有数据都是相同的，只是一些部分重新定位。唯一真正的区别是存在神秘的空白。

相似区域用颜色编码：

以及对应的信件：

我找不到一个工具可以做到这一点，我什至找不到允许使用 opencv 或类似技术实现这一点的教程。也许我正在寻找错误的术语，也许没有人真正为此编写过图像比较工具（这似乎难以置信？），所以冒着偏离主题的风险：我搜索和研究 /help/how-to-ask尽我所能，在这里。如果我需要将此作为可以作为正常（开源）工具链的一部分运行以进行质量检查/测试的工具，我有哪些选择？ （所以：不是同样昂贵的商业软件的昂贵插件）。

这是初始区域聚类的建议。

首先，我们将两张图像相减，找出不同的区域。然后我们将其调整为更小的规模，以获得更快的速度和更容易的聚类。

然后我们运行形态闭合运算将所有附近的对象聚集在一起。

对结果进行阈值以获得强信号

运行连通分量分析以获取所有边界框。

然后检查所有框交叉点并将它们联合起来。就我而言，我只是在实体模式下重新绘制所有边界框并重新分析组件以获得区域

一旦我们有了这个，我们就可以在第二个图像上运行相同的过程，并使用简单的互相关匹配方法或任何其他奇特的匹配方法对提取的每个区域进行交叉匹配。在这种情况下，区域之间的简单宽度和高度匹配也可以。

这是我制作的代码。我希望它有帮助。

import cv2
import numpy as np


# Function to fill all the bounding box
def fill_rects(image, stats):

    for i,stat in enumerate(stats):
        if i > 0:
            p1 = (stat[0],stat[1])
            p2 = (stat[0] + stat[2],stat[1] + stat[3])
            cv2.rectangle(image,p1,p2,255,-1)


# Load image file
img1 = cv2.imread('img1.jpg',0)
img2 = cv2.imread('img2.jpg',0)

# Subtract the 2 image to get the difference region
img3 = cv2.subtract(img1,img2)

# Make it smaller to speed up everything and easier to cluster
small_img = cv2.resize(img3,(0,0),fx = 0.25, fy = 0.25)


# Morphological close process to cluster nearby objects
fat_img = cv2.dilate(small_img, None,iterations = 3)
fat_img = cv2.erode(fat_img, None,iterations = 3)

fat_img = cv2.dilate(fat_img, None,iterations = 3)
fat_img = cv2.erode(fat_img, None,iterations = 3)

# Threshold strong signals
_, bin_img = cv2.threshold(fat_img,20,255,cv2.THRESH_BINARY)

# Analyse connected components
num_labels, labels, stats, centroids = cv2.connectedComponentsWithStats(bin_img)

# Cluster all the intersected bounding box together
rsmall, csmall = np.shape(small_img)
new_img1 = np.zeros((rsmall, csmall), dtype=np.uint8)

fill_rects(new_img1,stats)


# Analyse New connected components to get final regions
num_labels_new, labels_new, stats_new, centroids_new = cv2.connectedComponentsWithStats(new_img1)


labels_disp = np.uint8(200*labels/np.max(labels)) + 50
labels_disp2 = np.uint8(200*labels_new/np.max(labels_new)) + 50



cv2.imshow('diff',img3)
cv2.imshow('small_img',small_img)
cv2.imshow('fat_img',fat_img)
cv2.imshow('bin_img',bin_img)
cv2.imshow("labels",labels_disp)
cv2.imshow("labels_disp2",labels_disp2)
cv2.waitKey(0)