给定 4 个已知点的相机像素到平面世界点

我假设我的问题很简单，但由于我不久前在线性代数方面的经验，我仍然无法解决它。我读过几所大学发表的演示文稿，但我似乎无法遵循有些不标准化的符号。如果有人有更好的例子，将不胜感激......

Problem:摄像机向下倾斜，面向地板。给定一个像素坐标，我希望能够获得地板平面上相应的 3D 世界坐标。

Known:

• 地板上有 4 个点，我知道像素（x，y）坐标和关联的世界（X，Y，Z = 0）坐标。
• 相机的位置是固定的，我知道相机在X、Y、Z方向上的位移。

Unknown:

• 相机绕 x、y、z 轴的旋转。主要是，相机围绕 X 轴旋转，Y 和 Z 旋转最小，但我认为应该考虑在内。
• 畸变系数，但是线条中的图像弯曲最小，并且更愿意不引入棋盘校准程序。由此产生的一些错误并不影响交易。

我调查过的内容发现了一个惊人的例子here. https://stackoverflow.com/questions/12299870/computing-x-y-coordinate-3d-from-image-point?rq=1本质上这是完全相同的问题，但有一些后续问题：

SolvePnP 看起来是我的朋友，但我不太确定如何处理相机矩阵或 distCoefficients。有什么方法可以避免相机矩阵和距离系数校准步骤，我认为这是通过棋盘过程完成的（可能会牺牲一些精度）？或者有一些更简单的方法可以做到这一点？

非常感谢您的投入！

尝试这种方法：

从 4 个点对应计算单应性，为您提供在图像平面和地平面坐标之间转换的所有信息。

这种方法的局限性在于它假设一个统一参数化的图像平面（针孔相机），因此镜头畸变会给您带来错误，如我的示例中所示。如果您能够消除镜头畸变效应，我想您会很好地采用这种方法。 另外，如果你给出的对应关系稍有错误，你会得到一些错误，如果你提供更多的对应关系，你可以获得更稳定的值。

使用此输入图像

我已经从图像处理软件中读取了一个国际象棋场的 4 个角，这将对应于您知道图像中的 4 个点的事实。我选择了这些点（标记为绿色）：

现在我做了两件事：首先将棋盘图案坐标转换为图像 (0,0) 、 (0,1) 等，这给出了映射质量的良好视觉印象。第二，我从图像转变为世界。读取图像位置 (87,291) 中最左边的角位置，该位置对应于棋盘坐标中的 (0,0)。如果我变换该像素位置，您会期望得到 (0,0) 的结果。

cv::Point2f transformPoint(cv::Point2f current, cv::Mat transformation)
{
    cv::Point2f transformedPoint;
    transformedPoint.x = current.x * transformation.at<double>(0,0) + current.y * transformation.at<double>(0,1) + transformation.at<double>(0,2);
    transformedPoint.y = current.x * transformation.at<double>(1,0) + current.y * transformation.at<double>(1,1) + transformation.at<double>(1,2);
    float z = current.x * transformation.at<double>(2,0) + current.y * transformation.at<double>(2,1) + transformation.at<double>(2,2);
    transformedPoint.x /= z;
    transformedPoint.y /= z;

    return transformedPoint;
}

int main()
{
    // image from http://d20uzhn5szfhj2.cloudfront.net/media/catalog/product/cache/1/image/9df78eab33525d08d6e5fb8d27136e95/5/2/52440-chess-board.jpg

    cv::Mat chessboard = cv::imread("../inputData/52440-chess-board.jpg");

    // known input:
    // image locations / read pixel values
    //  478,358
    //  570, 325
    //  615,382
    //  522,417

    std::vector<cv::Point2f> imageLocs;
    imageLocs.push_back(cv::Point2f(478,358));
    imageLocs.push_back(cv::Point2f(570, 325));
    imageLocs.push_back(cv::Point2f(615,382));
    imageLocs.push_back(cv::Point2f(522,417));

    for(unsigned int i=0; i<imageLocs.size(); ++i)
    {
        cv::circle(chessboard, imageLocs[i], 5, cv::Scalar(0,0,255));
    }
    cv::imwrite("../outputData/chessboard_4points.png", chessboard);

    // known input: this is one field of the chessboard. you could enter any (corresponding) real world coordinates of the ground plane here.
    // world location:
    // 3,3
    // 3,4
    // 4,4
    // 4,3

    std::vector<cv::Point2f> worldLocs;
    worldLocs.push_back(cv::Point2f(3,3));
    worldLocs.push_back(cv::Point2f(3,4));
    worldLocs.push_back(cv::Point2f(4,4));
    worldLocs.push_back(cv::Point2f(4,3));


    // for exactly 4 correspondences. for more you can use cv::findHomography
    // this is the transformation from image coordinates to world coordinates:
    cv::Mat image2World = cv::getPerspectiveTransform(imageLocs, worldLocs);
    // the inverse is the transformation from world to image.
    cv::Mat world2Image = image2World.inv();


    // create all known locations of the chessboard (0,0) (0,1) etc we will transform them and test how good the transformation is.
    std::vector<cv::Point2f> worldLocations;
    for(unsigned int i=0; i<9; ++i)
        for(unsigned int j=0; j<9; ++j)
        {
            worldLocations.push_back(cv::Point2f(i,j));
        }


    std::vector<cv::Point2f> imageLocations;

    for(unsigned int i=0; i<worldLocations.size(); ++i)
    {
        // transform the point
        cv::Point2f tpoint = transformPoint(worldLocations[i], world2Image);
        // draw the transformed point
        cv::circle(chessboard, tpoint, 5, cv::Scalar(255,255,0));
    }

    // now test the other way: image => world
    cv::Point2f imageOrigin = cv::Point2f(87,291);
    // draw it to show which origin i mean
    cv::circle(chessboard, imageOrigin, 10, cv::Scalar(255,255,255));
    // transform point and print result. expected result is "(0,0)"
    std::cout << transformPoint(imageOrigin, image2World) << std::endl;

    cv::imshow("chessboard", chessboard);
    cv::imwrite("../outputData/chessboard.png", chessboard);
    cv::waitKey(-1);


}

结果图像是：

正如您所看到的，数据中存在大量错误。正如我所说，这是因为作为对应关系给出的像素坐标略有错误（并且在一个小区域内！），并且由于镜头畸变阻止了地平面在图像上显示为真实平面。

将(87,291)转换为世界坐标的结果是：

[0.174595, 0.144853]

预期/完美的结果是[0,0]

希望这可以帮助。