ARKit 人物遮挡样本是如何完成的？

这可能是一个晦涩的问题，但我在网上看到了很多非常酷的示例，展示了人们如何使用 ARKit 3 中新的 ARKit 人物遮挡技术来有效地将人物与背景“分离”，并对“人物”应用某种过滤。人”（见).

在查看苹果提供的源代码和文档时，我发现我可以检索segmentationBuffer来自我已经完成的 ARFrame，就像这样；

func session(_ session: ARSession, didUpdate frame: ARFrame) {
    let image = frame.capturedImage
    if let segementationBuffer = frame.segmentationBuffer {

        // Get the segmentation's width
        let segmentedWidth = CVPixelBufferGetWidth(segementationBuffer)

        // Create the mask from that pixel buffer.
        let sementationMaskImage = CIImage(cvPixelBuffer: segementationBuffer, options: [:])

        // Smooth edges to create an alpha matte, then upscale it to the RGB resolution.
        let alphaUpscaleFactor = Float(CVPixelBufferGetWidth(image)) / Float(segmentedWidth)
        let alphaMatte = sementationMaskImage.clampedToExtent()
            .applyingFilter("CIGaussianBlur", parameters: ["inputRadius": 2.0)
            .cropped(to: sementationMaskImage.extent)
            .applyingFilter("CIBicubicScaleTransform", parameters: ["inputScale": alphaUpscaleFactor])

        // Unknown...

    }
}

在“未知”部分中，我试图确定如何在原始摄像机源上渲染新的“模糊”人物。似乎没有任何方法可以在原始相机源的“顶部”绘制新的 CIImage，因为 ARView 无法手动更新。

在下面的代码片段中我们看到personSegmentationWithDepth深度合成的 type 属性（有 RGB、Alpha 和 Depth 通道）：

// Automatically segmenting and then compositing foreground (people), 
// middle-ground (3D model) and background.

let session = ARSession()

if let configuration = session.configuration as? ARWorldTrackingConfiguration {
    configuration.frameSemantics.insert(.personSegmentationWithDepth)
    session.run(configuration)
}

您可以手动访问 CVPixelBuffer 中世界跟踪的深度数据（执行分割的深度值）：

let image = frame.estimatedDepthData

您可以手动访问 CVPixelBuffer 中面部跟踪的深度数据（来自 TrueDepth 相机）：

let image = session.currentFrame?.capturedDepthData?.depthDataMap

另外，还有一个generateDilatedDepthARKit 3.0中的实例方法：

func generateDilatedDepth(from frame: ARFrame, 
                       commandBuffer: MTLCommandBuffer) -> MTLTexture

在你的情况下你必须使用estimatedDepthData因为苹果文档说：

它是一个缓冲区，表示用于遮挡虚拟内容的相机输入的估计深度值。

var estimatedDepthData: CVPixelBuffer? { get }

如果你乘以DEPTH来自此缓冲区的数据（首先您必须将深度通道转换为 RGB）RGB or ALPHA using 合成技术 https://developer.apple.com/library/archive/documentation/GraphicsImaging/Reference/CoreImageFilterReference/index.html#//apple_ref/doc/filter/ci/CISourceOverCompositing你会得到很棒的效果。

看这 6 个图像：下面一行代表使用深度通道校正的三个 RGB 图像：深度分级、深度模糊、深度点位置传递。