Java OpenCV - 从 knnMatch 中提取良好的匹配

我正在尝试实现一个非常简单的程序来查找两个图像之间的相似之处。

我正在使用 ORB 特征检测器和图像描述符来完成此任务，并且我正在使用以下方法识别匹配knnMatch:

FeatureDetector detector = FeatureDetector.create(FeatureDetector.ORB);
DescriptorExtractor descriptor = DescriptorExtractor.create(DescriptorExtractor.ORB);
DescriptorMatcher matcher = DescriptorMatcher.create(DescriptorMatcher.BRUTEFORCE_HAMMING);

// DETECTION
// first image
Mat img1 = Imgcodecs.imread(path1, Imgcodecs.CV_LOAD_IMAGE_GRAYSCALE);
Mat descriptors1 = new Mat();
MatOfKeyPoint keypoints1 = new MatOfKeyPoint();

detector.detect(img1, keypoints1);
descriptor.compute(img1, keypoints1, descriptors1);

// second image
Mat img2 = Imgcodecs.imread(path2, Imgcodecs.CV_LOAD_IMAGE_GRAYSCALE);
Mat descriptors2 = new Mat();
MatOfKeyPoint keypoints2 = new MatOfKeyPoint();

detector.detect(img2, keypoints2);
descriptor.compute(img2, keypoints2, descriptors2);

// MATCHING
// match these two keypoints sets
List<MatOfDMatch> matches = new ArrayList<MatOfDMatch>();
matcher.knnMatch(descriptors1, descriptors2, matches, 5);

我能够按如下方式绘制比赛：

// DRAWING OUTPUT
Mat outputImg = new Mat();
// this will draw all matches, works fine
Features2d.drawMatches2(img1, keypoints1, img2, keypoints2, matches, outputImg);

// save image
Imgcodecs.imwrite("result.jpg", outputImg);

问题是比赛太多了，而且还包括那些差距很大的比赛。我似乎无法找到如何仅提取良好的匹配项（超过某个阈值）？有人可以指出我正确的方向或将我重定向到一些基本的工作示例吗？我在这上面花了几个小时，似乎迷失了..

EDIT:

我试着看看关键点匹配只能工作两次......？ （java opencv） https://stackoverflow.com/questions/25752497/keypoint-matching-just-works-two-times-java-opencv但标准（非 knn）匹配使用不同的结构，我无法使其工作。

正如其他答案中提到的，有多种方法可以删除异常值和不良匹配。我猜你找到了示例和教程match代替knnMatch利用其中一些方法。

所以，正如你可能知道的，区别在于knnMatch返回 n 个最佳匹配descriptor2对于每个描述符descriptor1。这意味着，您得到的不是匹配列表，而是匹配列表的列表。我想这就是你遇到问题的原因。

主要优点使用knnMatch是您可以执行比率测试。因此，如果距其中一个描述符的距离descriptor1到两个最好的描述符descriptor2相似，这表明您的图像中存在重复的图案（例如草地前面的尖桩篱笆的尖端）。因此，此类匹配不可靠，应删除。 （我不知道为什么你要搜索五个最佳匹配 - 你将 5 传递给knnMatch- 对于每个描述符。而是搜索两个。）

如果您现在只想访问每个描述符的最佳匹配，则只需访问“子列表”的第一个元素。在下面，您将找到使用 RANSAC 进行比率测试和单应性估计的示例（我替换了您之后的所有内容）knnMatch):

    // ratio test
    LinkedList<DMatch> good_matches = new LinkedList<DMatch>();
    for (Iterator<MatOfDMatch> iterator = matches.iterator(); iterator.hasNext();) {
        MatOfDMatch matOfDMatch = (MatOfDMatch) iterator.next();
        if (matOfDMatch.toArray()[0].distance / matOfDMatch.toArray()[1].distance < 0.9) {
            good_matches.add(matOfDMatch.toArray()[0]);
        }
    }

    // get keypoint coordinates of good matches to find homography and remove outliers using ransac
    List<Point> pts1 = new ArrayList<Point>();
    List<Point> pts2 = new ArrayList<Point>();
    for(int i = 0; i<good_matches.size(); i++){
        pts1.add(keypoints1.toList().get(good_matches.get(i).queryIdx).pt);
        pts2.add(keypoints2.toList().get(good_matches.get(i).trainIdx).pt);
    }

    // convertion of data types - there is maybe a more beautiful way
    Mat outputMask = new Mat();
    MatOfPoint2f pts1Mat = new MatOfPoint2f();
    pts1Mat.fromList(pts1);
    MatOfPoint2f pts2Mat = new MatOfPoint2f();
    pts2Mat.fromList(pts2);

    // Find homography - here just used to perform match filtering with RANSAC, but could be used to e.g. stitch images
    // the smaller the allowed reprojection error (here 15), the more matches are filtered 
    Mat Homog = Calib3d.findHomography(pts1Mat, pts2Mat, Calib3d.RANSAC, 15, outputMask, 2000, 0.995);

    // outputMask contains zeros and ones indicating which matches are filtered
    LinkedList<DMatch> better_matches = new LinkedList<DMatch>();
    for (int i = 0; i < good_matches.size(); i++) {
        if (outputMask.get(i, 0)[0] != 0.0) {
            better_matches.add(good_matches.get(i));
        }
    }

    // DRAWING OUTPUT
    Mat outputImg = new Mat();
    // this will draw all matches, works fine
    MatOfDMatch better_matches_mat = new MatOfDMatch();
    better_matches_mat.fromList(better_matches);
    Features2d.drawMatches(img1, keypoints1, img2, keypoints2, better_matches_mat, outputImg);

    // save image
    Imgcodecs.imwrite("result.jpg", outputImg);

我希望这足以作为一个例子。可以类似地应用其他过滤方法。如果您还有其他问题，请随时询问。

EDIT:仅当大多数关键点位于场景中的同一平面（例如墙壁等）时，单应性过滤才有效。