我正在编写详细的解决方案,但我想确保我正在解决正确的问题。计划是创建一个转换,正确扭曲“屋顶瓦片”图案(或任何此类图案)的版本,以便在映射到右侧图像中的四边形时正确地透视扭曲?即,四边形 ABCE 映射到四边形 A'B'C'E'?
第一步是计算单应性 https://mattmaulion.medium.com/homography-transform-image-processing-eddbcb8e4ff7将四边形 ABCD 映射到四边形 A'B'C'D'。OpenCV为此提供了方法 https://docs.opencv.org/master/d9/dab/tutorial_homography.html,但是让我们自己做一下数学计算。我们正在搜索一个 3x3 矩阵 H,将点 A、B、C、D 映射到点 A'、B'、C'、D',如下所示(我们实际上会以相反的方式进行操作):
使用 3D 同质向量 (x,y,w) 允许我们在 3D 中工作,除以 w 提供了必要的透视缩短(长话短说)。
事实证明,H 的任何比例倍数都有效,这意味着它只有 8 个自由度(而不是完整的 3*3 = 9)。这意味着我们想要 HA'是A因此它们的叉积为零:
如果我们执行叉积,我们可以将最后一个方程重写为
上面的最后一个方程实际上是前两个方程的线性组合(将第一个方程乘以 x,将第二个方程乘以 y,将它们相加,得到第三个方程)。由于第三个方程是线性相关的,我们将其丢弃并仅使用前两个方程。对第二个方程求反,交换它们,然后将它们转换为矩阵形式,我们得到
因此一点对应A' - A产生两个方程。
如果我们有 n 个点对应,我们会得到 2n 个方程:
我们需要 n >= 4 才能有至少 8 个方程才能得到正确的解;即,我们至少需要 4 个(非共线)点。
因此我们有一个齐次方程组
我们解决使用奇异值分解 https://en.wikipedia.org/wiki/Singular_value_decomposition:
显然,简单的解决方案 h = 0 有效,但不是很有用。
将 h 设置为 V 的最后一列会得到最小二乘
我们系统的误差解,其中 h 具有单位长度。
让我们为您的具体示例计算 H。我们假设来源
要变换的图像为 WxH = 500x300,因此 A = (0,0)、B = (W,0)、C = (0,H) 和 D = (W,H)。目标图像是 484x217,我找到了
屋顶的角点为 A' = (70.7, 41.3), B' = (278.8, 76.3),
C' = (136.4, 121,2),D' = (345.1, 153,2)。我会用Eigen https://eigen.tuxfamily.org/index.php?title=Main_Page到
进行计算。所以我将加载我的源和目的地
将点转化为矩阵:
#include <Eigen/Dense>
...
constexpr double W = 500;
constexpr double H = 300;
constexpr size_t N = 4;
Eigen::Matrix<double,2,N> SRC;
SRC <<
0, W, 0, W,
0, 0, H, H;
Eigen::Matrix<double,2,N> DST;
DST <<
70.7, 278.8, 136.4, 345.1,
41.3, 76.3, 121.2, 153.2;
我如上所述构造 8x9 矩阵 A
Eigen::Matrix<double,2*N,9> A;
A.setZero();
for (size_t i = 0; i < N; i++) {
const double x_ = DST(0,i), y_ = DST(1,i);
const double x = SRC(0,i), y = SRC(1,i);
A(2*i,0) = A(2*i+1,3) = x_;
A(2*i,1) = A(2*i+1,4) = y_;
A(2*i,2) = A(2*i+1,5) = 1;
A(2*i,6) = -x*x_;
A(2*i,7) = -x*y_;
A(2*i,8) = -x;
A(2*i+1,6) = -y*x_;
A(2*i+1,7) = -y*y_;
A(2*i+1,8) = -y;
}
然后我计算 SVD,从
V 的最后一列,并将结果存储在 3x3 矩阵中:
Eigen::JacobiSVD<Eigen::Matrix<double,2*N,9>> svd(A, Eigen::ComputeFullV);
Eigen::Matrix<double,9,1> h = svd.matrixV().col(8);
Eigen::Matrix3d Homography;
Homography <<
h(0), h(1), h(2),
h(3), h(4), h(5),
h(6), h(7), h(8);
产生所需的 3x3 矩阵 H:
-0.016329 0.013427 0.599927
0.004571 -0.0271779 0.799277
1.78122e-06 -2.83812e-06 -0.00613631
我们可以使用 OpenCV 查看扭曲图像示例。
我加载源纹理和单应性 H 并使用 OpenCVwarpPerspective功能 https://docs.opencv.org/master/da/d54/group__imgproc__transform.html#gaf73673a7e8e18ec6963e3774e6a94b87
#include <opencv2/opencv.hpp>
#include <opencv2/imgproc.hpp>
int main() {
cv::Mat sourceImage = imread("texture.png", cv::IMREAD_COLOR);
cv::Matx33d H(-0.016329, 0.013427, 0.599927,
0.004571, -0.0271779, 0.799277,
1.78122e-06, -2.83812e-06, -0.00613631);
cv::Mat destImage;
cv::warpPerspective(sourceImage, destImage, H, cv::Size(487,217),
cv::INTER_LINEAR | cv::WARP_INVERSE_MAP);
cv::imwrite("warped.png", destImage);
return 0;
}
结果看起来似乎合理: