库:OpenCV
目标:Android (OpenCV4Android)
我尝试计算世界平面(例如监视器屏幕)的单应性以获取相机姿势,对其进行变换并将点重新投影回以进行跟踪任务。
我使用 OpenCVs findHomography() / getPerspectiveTransform() 来获取单应性。使用perspectiveTransform()对点进行重新投影(如下所述:http://docs.opencv.org/doc/tutorials/features2d/feature_homography/feature_homography.html http://docs.opencv.org/doc/tutorials/features2d/feature_homography/feature_homography.html)效果很好。 “screenPoints”是显示器边缘的世界坐标(使用纵横比和 z 值 0),“imagePoints”是图像中屏幕边缘的 x/y 坐标。
Mat homography = org.opencv.imgproc.Imgproc.getPerspectiveTransform(screenPoints, imagePoints);
我有相机校准矩阵(我已经使用了matlab校准工具箱)并且我发现了一个提示(在评论@https://dsp.stackexchange.com/questions/2736/step-by-step-camera-pose-estimation-for-visual-tracking-and-planar-markers https://dsp.stackexchange.com/questions/2736/step-by-step-camera-pose-estimation-for-visual-tracking-and-planar-markers)用于考虑单应性中的相机参数。
H' = K^-1 * H
(H' - 考虑相机校准的单应性矩阵,H - 单应性矩阵,K^-1 - 逆相机校准矩阵)。
Mat intrinsicInverse = new Mat(3, 3, CvType.CV_32FC1);
Core.invert(intrinsic, intrinsicInverse);
intrinsicInverse.convertTo(intrinsicInverse, CvType.CV_32FC1);
homography.convertTo(homography, CvType.CV_32FC1);
// compute H respect the intrinsics
Core.gemm(intrinsicInverse, homography, 1, new Mat(), 0, homography);
我的下一步是根据单应性计算相机姿势,如此处所述基于4个共面点的单应矩阵计算相机位姿 https://stackoverflow.com/questions/8927771/computing-camera-pose-with-homography-matrix-based-on-4-coplanar-points.
由于我尝试在 Android 上执行此操作,因此我必须将 C++ 代码移植到 Java:
private Mat cameraPoseFromHomography(Mat h) {
Log.d("DEBUG", "cameraPoseFromHomography: homography " + matToString(h));
Mat pose = Mat.eye(3, 4, CvType.CV_32FC1); // 3x4 matrix, the camera pose
float norm1 = (float) Core.norm(h.col(0));
float norm2 = (float) Core.norm(h.col(1));
float tnorm = (norm1 + norm2) / 2.0f; // Normalization value
Mat normalizedTemp = new Mat();
Core.normalize(h.col(0), normalizedTemp);
normalizedTemp.convertTo(normalizedTemp, CvType.CV_32FC1);
normalizedTemp.copyTo(pose.col(0));
Core.normalize(h.col(1), normalizedTemp);
normalizedTemp.convertTo(normalizedTemp, CvType.CV_32FC1);
normalizedTemp.copyTo(pose.col(1));
Mat p3 = pose.col(0).cross(pose.col(1));
p3.copyTo(pose.col(2));
Mat temp = h.col(2);
double[] buffer = new double[3];
h.col(2).get(0, 0, buffer);
pose.put(0, 3, buffer[0] / tnorm);
pose.put(1, 3, buffer[1] / tnorm);
pose.put(2, 3, buffer[2] / tnorm);
return pose;
}
我无法检查代码是否执行正确的操作,但它正在运行。
此时,考虑到相机校准,我假设拥有完整的相机姿势。
如此处所述http://opencv.willowgarage.com/documentation/python/calib3d_camera_calibration_and_3d_reconstruction.html#rodrigues2 http://opencv.willowgarage.com/documentation/python/calib3d_camera_calibration_and_3d_reconstruction.html#rodrigues2,3D 点的重投影就是
p = K * CP * P
(p - 2D 位置、K - 校准矩阵、CP - 相机位姿、P - 3D 点)
Core.gemm(intrinsic, cameraPosition, 1, new Mat(), 0, vec4t);
Core.gemm(vec4t, point, 1, new Mat(), 0, result);
结果远离屏幕边缘的源图像位置。但我可以通过相对差异来识别所有三个边缘 - 所以这可能只是一些错误的因素。
这是我第一次做这样的计算机视觉任务,我可能犯了一些基本错误。我有 Zisserman 的《多视图几何》一书,我阅读了所有相关部分 - 但说实话 - 我没有理解其中的大部分内容。
UPDATE:
在我的相机矩阵中发现了一个错误 - 上面的实现工作正常!