如何在 opencv 中使用矩阵 R 和 T（外部参数矩阵）转换图像？

我有一个旋转平移矩阵 [RT] (3x4)。

opencv中是否有一个函数可以执行[RT]描述的旋转平移？

我认为这个问题的很多解决方案都做出了隐藏的假设。我将尝试向您快速总结一下我对这个问题的看法（过去我不得不考虑很多）。两个图像之间的变形是一个二维过程，通过称为单应性的 3x3 矩阵完成。您拥有的是一个 3x4 矩阵，它定义了 3 维变换。您可以通过将图像视为 3 维空间中的平面来在两者之间进行转换。诀窍是确定图像平面在世界空间中的初始位置。然后，您可以变换其位置并使用相机内在矩阵将其投影到新的图像平面上。

第一步是确定初始图像在世界空间中的位置，请注意，这不必与初始 R 和 T 矩阵指定的相同。这些是在世界坐标中，我们谈论的是由那个世界创建的图像，图像中的所有对象都已被展平为一个平面。这里最简单的决定是将图像设置为 z 轴上的固定位移且不旋转。从现在开始我将假设不再轮换。如果您想查看一般情况，我可以提供，但稍微复杂一些。

接下来，您定义 3d 空间中两个图像之间的变换。由于两个变换都针对同一原点，因此从 [A] 到 [B] 的变换与从 [A] 到原点的变换相同，然后是从原点到 [B] 的变换。你可以通过

transform = [B]*inverse([A])

现在从概念上讲，您需要做的是拍摄第一张图像，将其像素投影到 3D 空间中图像的几何解释上，然后通过上面的变换在 3D 空间中变换这些像素，然后将它们投影回新的 2D 图像上你的相机矩阵。这些步骤需要组合成一个 3x3 矩阵。

cv::Matx33f convert_3x4_to_3x3(cv::Matx34f pose, cv::Matx33f camera_mat, float zpos)
{   
//converted condenses the 3x4 matrix which transforms a point in world space 
//to a 3x3 matrix which transforms a point in world space.  Instead of 
//multiplying pose by a 4x1 3d homogeneous vector, by specifying that the
//incoming 3d vectors will ALWAYS have a z coordinate of zpos, one can instead 
//multiply converted by a homogeneous 2d vector and get the same output for x and y.

cv::Matx33f converted(pose(0,0),pose(0,1),pose(0,2)*zpos+pose(0,3),
                      pose(1,0),pose(1,1),pose(1,2)*zpos+pose(1,3),
                      pose(2,0),pose(2,1),pose(2,2)*zpos+pose(2,3));

//This matrix will take a homogeneous 2d coordinate and "projects" it onto a 
//flat plane at zpos.  The x and y components of the incoming homogeneous 2d 
//coordinate will be correct, the z component is dropped.  
cv::Matx33f projected(1,0,0,
                      0,1,0,
                      0,0,zpos);
projected = projected*camera_mat.inv();

//now we have the pieces.  A matrix which can take an incoming 2d point, and 
//convert it into a pseudo 3d point (x and y correspond to 3d, z is unused) 
//and a matrix which can take our pseudo 3d point and transform it correctly.  
//Now we just need to turn our transformed pseudo 3d point back into a 2d point 
//in our new image, to do that simply multiply by the camera matrix.

return camera_mat*converted*projected;
}

这可能是一个比您想要的更复杂的答案，但我希望它能让您了解您要问的内容。这可能非常令人困惑，我很快就浏览了其中的某些部分，请随时要求澄清。如果您需要解决方案在不假设初始图像在没有旋转的情况下出现的情况下工作，请告诉我，我只是不想让它变得比需要的更复杂。