难以从 iPhone X 上的 2D 区域获取面部标志点的深度（SceneKit/ARKit 应用程序）

我正在使用 iPhone X 上的前置摄像头运行面部标志检测，并且正在努力获取面部标志的 3D 点（VNFaceLandmarkRegion2D 仅提供图像坐标 X、Y）。

我一直在尝试使用ARSCNView.hitTest or ARFrame.hitTest，但到目前为止我还没有成功。我认为我的错误可能在于将初始地标点转换为正确的坐标系。我已经尝试了很多排列，但目前根据我的研究，这是我想出的：

let point = CGPoint(x: landmarkPt.x * faceBounds.width + faceBounds.origin.x, y: (1.0 - landmarkPt.y) * faceBounds.height + faceBounds.origin.y)
let screenPoint = CGPoint(point.x * view.bounds.width, point.y * view.bounds.height)
frame.hitTest(screenPoint, types: ARHitTestResult.ResultType.featurePoint)

我也尝试过这样做

let newPoint = CGPoint(x: point.x, y: 1.0 - point.y) 

转换后，但似乎没有任何效果。我的frame.hitTest结果始终为空。我在转换过程中遗漏了什么吗？

前置摄像头是否又增加了一个层次？ （我还尝试在某一点反转初始 X 值，以防坐标系被镜像）。在我看来，最初的里程碑normalizedPoints有时是负数，有时也大于 1.0，这对我来说没有任何意义。我在用着ARSession.currentFrame?.capturedImage捕捉前置摄像头的画面（如果这很重要）。

任何帮助将非常非常感谢，非常感谢！

- 解决了 -

对于任何有类似问题的人： 我终于得到了命中测试结果！

for point in observation.landmarks?.allPoints?.pointsInImage(imageSize: sceneView.bounds.size) {
    let result = ARSCNView.hitTest(point, options: [ARSCNHitTestOption.rootNode: faceNode)
}

我使用面几何体作为附加到面节点的遮挡节点。

谢谢里克斯特！

你正在使用ARFaceTrackingConfiguration， 正确的？在这种情况下，featurePoint命中测试类型对您没有帮助，因为特征点是世界跟踪的一部分，而不是面部跟踪......事实上，几乎所有ARKit命中测试机制特定于世界跟踪，对面部跟踪没有用处。

你可以做的是利用面部网格（ARFaceGeometry）和面部姿势跟踪（ARFaceAnchor）从 2D 图像点到 3D 世界空间（或相机空间）点。为此，您至少可以走几条路：

1. 如果您已经在使用 SceneKit，则可以使用SceneKit的命中测试而不是 ARKit 的。 （也就是说，您针对 SceneKit 中建模的“虚拟”几何体进行命中测试，而不是针对 ARKit 建模的真实世界环境的稀疏估计进行测试。在这种情况下，面部网格的“虚拟”几何体通过以下方式进入 SceneKit ARKit。）也就是说，你想要ARSCNView.hitTest(_:options:) https://developer.apple.com/documentation/scenekit/scnscenerenderer/1522929-hittest（继承自SCNSceneRenderer), not hitTest(_:types:)。当然，这意味着您需要使用ARSCNFaceGeometry可视化场景中的面部网格，以及ARSCNView的节点/锚点映射以使其跟踪面部姿势（尽管如果您希望视频图像显示出来，您可以使网格透明） - 否则 SceneKit 命中测试将无法找到任何 SceneKit 几何体。

2. 如果您不使用 SceneKit，或者由于某种原因无法将面部网格放入场景中，则您拥有针对面部网格重建命中测试所需的所有信息。ARCamera具有视图和投影矩阵，可以告诉您 2D 屏幕投影与 3D 世界空间的关系，ARFaceAnchor告诉你脸部在世界空间中的位置，并且ARFaceGeometry告诉你每个点在脸上的位置 - 所以它只是一个一堆数学 https://gamedev.stackexchange.com/search?q=3d%20hit%20test从屏幕点到面网格点，反之亦然。