OpenCV项目点的逆向

我有一个面向棋盘的相机。我知道这些点的世界 3D 位置以及相机图像上相应投影点的 2D 位置。所有世界点都属于同一平面。我使用solvePnP：

Matx33d camMat;
Matx41d distCoeffs;
Matx31d rvec;
Matx31d tvec;
std::vector<Point3f> objPoints;
std::vector<Point2f> imgPoints;
solvePnP(objPoints, imgPoints, camMat, distCoeffs, rvec, tvec);

然后我可以使用 projectPoints 从 3d 世界点转到 2d 图像点：

std::vector<Point2f> projPoints;
projectPoints(objPoints, rvec, tvec, camMat, distCoeffs, projPoints);

projPoints 与 imgPoints 非常接近。

如何使用与属于同一平面的 3D 世界点相对应的屏幕点进行相反的操作。我知道从单一视图来看，不可能重建 3D 位置，但这里我在同一平面上，所以这实际上是一个 2D 问题。我可以计算反向旋转矩阵以及反向平移向量，但是我该如何继续呢？

Matx33d rot;
Rodrigues(rvec, rot);
Matx33d camera_rotation_vector;
Rodrigues(rot.t(), camera_rotation_vector);
Matx31d camera_translation_vector = -rot.t() * tvec;

假设您通过 objpoints-imgpoints 对校准相机。请注意，第一个是校准板上特征点的真实 3 维坐标，第二个是每个图像中特征点的 2 维像素位置。因此，它们都应该是包含校准板图像元素数量的列表。在执行 Python 代码行之后，您将获得校准矩阵 mtx、每个校准板的旋转 rvecs 及其平移 tvecs。

ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, np.zeros(5,'float32'),flags=cv2.CALIB_USE_INTRINSIC_GUESS ) 

现在我们可以在假设下找到任意像素的 3D 坐标。这个假设是我们需要定义一些参考点。假设我们的参考是第 0 个（第一个）校准板，其枢轴点位于 0,0，其中校准板的长轴为 x，短轴为 y 轴，校准板的表面也显示 Z= 0 飞机。这是我们创建投影矩阵的方法。

# projection matrix
Lcam=mtx.dot(np.hstack((cv2.Rodrigues(rvecs[0])[0],tvecs[0])))

现在我们可以定义任何像素位置和所需的 Z 值。请注意，由于我想在参考校准板上投影 (100,100) 像素位置，因此我设置 Z=0。

px=100
py=100
Z=0
X=np.linalg.inv(np.hstack((Lcam[:,0:2],np.array([[-1*px],[-1*py],[-1]])))).dot((-Z*Lcam[:,2]-Lcam[:,3]))

现在我们有了 (px,py) 像素的 X 和 Y 坐标，即 X[0], X[1] 。 X 的最后一个元素是 lambda 因子。结果我们可以说，(px,py) 位置上的像素落在第 0 个校准板表面上的 X[0],X[1] 坐标上。