在 Swift 中如何直接从 CIImage 而不是 UIImage 制作 CVPixelBuffer？

Question

我正在通过 iPhone 摄像头录制经过过滤的视频，并且在录制时将 CIImage 实时转换为 UIImage 时 CPU 使用量大幅增加。我制作 CVPixelBuffer 的缓冲函数使用 UIImage，到目前为止，这需要我进行此转换。如果可能的话，我想制作一个采用 CIImage 的缓冲函数，这样我就可以跳过从 UIImage 到 CIImage 的转换。我认为这会大大提高我录制视频时的性能，因为 CPU 和 GPU 之间不会有任何切换。

这就是我现在拥有的。在我的 captureOutput 函数中，我从 CIImage 创建了一个 UIImage，它是过滤后的图像。我使用 UIImage 从缓冲区函数创建一个 CVPixelBuffer，并将其附加到 assetWriter 的 pixelBufferInput:

let imageUI = UIImage(ciImage: ciImage)

let filteredBuffer:CVPixelBuffer? = buffer(from: imageUI)

let success = self.assetWriterPixelBufferInput?.append(filteredBuffer!, withPresentationTime: self.currentSampleTime!)

我使用 UIImage 的缓冲函数：

func buffer(from image: UIImage) -> CVPixelBuffer? {
    let attrs = [kCVPixelBufferCGImageCompatibilityKey: kCFBooleanTrue, kCVPixelBufferCGBitmapContextCompatibilityKey: kCFBooleanTrue] as CFDictionary
    var pixelBuffer : CVPixelBuffer?
    let status = CVPixelBufferCreate(kCFAllocatorDefault, Int(image.size.width), Int(image.size.height), kCVPixelFormatType_32ARGB, attrs, &pixelBuffer)

    guard (status == kCVReturnSuccess) else {
        return nil
    }

    CVPixelBufferLockBaseAddress(pixelBuffer!, CVPixelBufferLockFlags(rawValue: 0))
    let pixelData = CVPixelBufferGetBaseAddress(pixelBuffer!)

    let videoRecContext = CGContext(data: pixelData,
                            width: Int(image.size.width),
                            height: Int(image.size.height),
                            bitsPerComponent: 8,
                            bytesPerRow: videoRecBytesPerRow,
                            space: (MTLCaptureView?.colorSpace)!, // It's getting the current colorspace from a MTKView
                            bitmapInfo: CGImageAlphaInfo.noneSkipFirst.rawValue)

    videoRecContext?.translateBy(x: 0, y: image.size.height)
    videoRecContext?.scaleBy(x: 1.0, y: -1.0)

    UIGraphicsPushContext(videoRecContext!)
    image.draw(in: CGRect(x: 0, y: 0, width: image.size.width, height: image.size.height))
    UIGraphicsPopContext()
    CVPixelBufferUnlockBaseAddress(pixelBuffer!, CVPixelBufferLockFlags(rawValue: 0))

    return pixelBuffer
}

Answer 1

创建一个 CIContext 并使用它使用 CIContext.render(_: CIImage, to buffer: CVPixelBuffer).

将 CIImage 直接渲染到您的 CVPixelBuffer

Answer 2

为了扩展我从 rob mayoff 那里得到的答案，我将在下面展示我所做的更改：

在 captureOutput 函数中，我将代码更改为：

let filteredBuffer : CVPixelBuffer? = buffer(from: ciImage)

filterContext?.render(_:ciImage, to:filteredBuffer!)

let success = self.assetWriterPixelBufferInput?.append(filteredBuffer!, withPresentationTime: self.currentSampleTime!)

注意缓冲区函数传递了一个 ciImage。我格式化了我的缓冲函数以传递 CIImage，并且能够摆脱里面的很多东西：

func buffer(from image: CIImage) -> CVPixelBuffer? {
    let attrs = [kCVPixelBufferCGImageCompatibilityKey: kCFBooleanTrue, kCVPixelBufferCGBitmapContextCompatibilityKey: kCFBooleanTrue] as CFDictionary
    var pixelBuffer : CVPixelBuffer?
    let status = CVPixelBufferCreate(kCFAllocatorDefault, Int(image.extent.width), Int(image.extent.height), kCVPixelFormatType_32ARGB, attrs, &pixelBuffer)

    guard (status == kCVReturnSuccess) else {
        return nil
    }

    return pixelBuffer
}

Answer 3

rob mayoff 回答总结了这一点，但有一个非常-非常-非常 重要的事情要记住：

Core Image defers the rendering until the client requests the access to the frame buffer, i.e. CVPixelBufferLockBaseAddress.

我是从与 Apple 的技术支持工程师交谈中了解到这一点的，但在任何文档中都找不到。我只在 macOS 上使用过它，但可以想象它在 iOS 上不会有什么不同。

请记住，如果您在渲染之前锁定缓冲区，它仍然可以工作，但会运行落后一帧，并且第一个渲染将是空的。

最后，它不止一次在 SO 上甚至在这个线程中提到：避免为每个渲染创建新的 CVPixelBuffer，因为每个缓冲区都会占用大量系统资源。这就是为什么我们在他们的框架中有 CVPixelBufferPool – Apple uses 它，这样你可以获得更好的性能！ ✌️

在 Swift 中如何直接从 CIImage 而不是 UIImage 制作 CVPixelBuffer？

How can you make a CVPixelBuffer directly from a CIImage instead of a UIImage in Swift?

swift

uiimage

avassetwriter

ciimage

cvpixelbuffer