iOS ARKit 如何将 ARFrame .capturedImage 保存到文件？

Question

我正在尝试将 ARFrame 中的相机图像保存到文件中。图像作为 CVPixelBuffer 给出。我有以下代码，它生成的图像纵横比错误。我尝试了不同的方法，包括CIFilter缩小图片，但仍然无法保存正确的图片。

摄像头分辨率为 1920w x 1440h。我想从提供的像素缓冲区创建一个 1x 比例的图像。我得到 4320 × 5763, 4320 × 3786

如何将 capturedImage (CVPixelBuffer) 从 ARFrame 保存到文件？

func prepareImage(arFrame: ARFrame) {
    
    let orientation = UIInterfaceOrientation.portrait
    let viewportSize = CGSize(width: 428, height: 869)
    
    let transform = arFrame.displayTransform(for: orientation, viewportSize: viewportSize).inverted()
    let ciImage = CIImage(cvPixelBuffer: arFrame.capturedImage).transformed(by: transform)
    let uiImage = UIImage(ciImage: ciImage)
}

Answer 1

我在尝试从 ARFrame 中提取屏幕截图时遇到了几个问题：

ARFrame中下划线的CVPixelBuffer向左旋转，表示需要旋转图片。
框架本身比您在相机中看到的要宽得多。这样做是因为 AR 需要更广泛的图像才能看到你所看到的场景之外的东西。

例如：这是从原始 ARFrame

中截取的图像

下面的内容可以帮助您轻松处理这两个步骤： https://github.com/Rightpoint/ARKit-CoreML/blob/master/Library/UIImage%2BUtilities.swift

这些的问题在于此代码使用了 UIGraphicsBeginImageContextWithOptions，这是一个很重的实用程序。

但如果性能不是您的主要问题（假设是 AR 体验），这些可能就足够了。

如果性能有问题，您可以进行数学计算以了解您需要进行的转换，只需从原始图片中剪切所需的图像并旋转即可。

希望这对您有所帮助！

iOS ARKit 如何将 ARFrame .capturedImage 保存到文件？

iOS ARKit how to save ARFrame .capturedImage to file?

ios

cvpixelbuffer

arkit

swift5