如何使用 rgba16Float MTLPixelFormat 显示 MTKView

Question

我将 MTKView 设置为使用 MTLPixelFormat.rgba16Float。我遇到了显示问题，下图对此进行了最好的描述：

所以预期的 UIColor 被冲掉了，但只有当它在 MTKView 中显示时。当我将可绘制纹理转换回图像以通过 CIIMage 在 UIView 中显示时，我恢复了原始颜色。以下是我创建该输出的方式：

let colorSpace = CGColorSpaceCreateDeviceRGB()
let kciOptions = [kCIImageColorSpace: colorSpace,
                  kCIContextOutputPremultiplied: true,
                  kCIContextUseSoftwareRenderer: false] as [String : Any]  
let strokeCIImage = CIImage(mtlTexture: metalTextureComposite, options: kciOptions)!.oriented(CGImagePropertyOrientation.downMirrored)
let imageCropCG = cicontext.createCGImage(strokeCIImage, from: bbox, format: kCIFormatABGR8, colorSpace: colorSpace)

其他相关设置：

uiColorBrushDefault: UIColor = UIColor(red: 0.92, green: 0.79, blue: 0.18, alpha: 1.0)
self.colorPixelFormat = MTLPixelFormat.rgba16Float
renderPipelineDescriptor.colorAttachments[0].pixelFormat = self.colorPixelFormat

// below is the colorspace for the texture which is tinted with UIColor
let colorSpace = CGColorSpaceCreateDeviceRGB()
let texDescriptor = MTLTextureDescriptor.texture2DDescriptor(pixelFormat: MTLPixelFormat.rgba8Unorm, width: Int(width), height: Int(height), mipmapped: isMipmaped)
target = texDescriptor.textureType
texture = device.makeTexture(descriptor: texDescriptor)

一些帖子暗示在某处采用 sRGB，但没有具体说明如何禁用它。

我希望我在 MTKView 上显示的颜色与输入匹配（尽可能接近它）并且仍然能够将该纹理转换为我可以在 ImageView 中显示的内容。我已经在 iPad Air 和新的 iPad Pro 上对此进行了测试。相同的行为。任何帮助将不胜感激。

Answer 1

原来关键在于撤消固有嵌入在 UIColor 中的伽马校正

let colorSRGB = UIColor(red: 0.92, green: 0.79, blue: 0.18, alpha: 1.0)
let rgbaSRGB = colorSRGB.getRGBAComponents()!
let gammapower : CGFloat = 2.2

let r = pow(rgbaSRGB.red, gammapower)
let g = pow(rgbaSRGB.green, gammapower)
let b = pow(rgbaSRGB.blue, gammapower)
let a = pow(rgbaSRGB.alpha, gammapower)

let colorNoGamma: UIColor = UIColor(red: CGFloat(r), green: CGFloat(g), blue: CGFloat(b), alpha: CGFloat(a))

一旦我将 colorNoGamma 应用到具有 MTLPixelFormat.rgba16Float 的 MKTView 中，结果将匹配显示 colorSRGB 的 UIView。一旦你想通了它就有意义了......感谢@MoDJ 带领我走上了正确的道路。

注意，在MTKView这边，我可以保留原来定义的贴图设置，即：

let texDescriptor = MTLTextureDescriptor.texture2DDescriptor(pixelFormat: MTLPixelFormat.rgba8Unorm, width: Int(width), height: Int(height), mipmapped: isMipmaped)
target = texDescriptor.textureType

而且，如果我想将 currentDrawable 转换为要在 UIImageView 中显示的纹理，那么我想确保不应用任何颜色空间设置。即：

let strokeCIImage = CIImage(mtlTexture: metalTextureComposite, options: [:])!.oriented(CGImagePropertyOrientation.downMirrored)
let imageCropCG = cicontext.createCGImage(strokeCIImage, from: box, format: kCIFormatABGR8, colorSpace: colorSpace)  // kCIFormatRGBA8 gives same result. Not sure what's proper
let layerStroke = CALayer()
layerStroke.frame = bbox
layerStroke.contents = imageCropCG

注意参数 options: [:] 意味着我没有传递 colorspace/premultiplication/renderer 设置，就像我在原始 post 中所做的那样，我在其中定义了 kciOptions

Answer 2

看来您已经非常接近完整的解决方案了。但是你所拥有的并不完全正确。这是一个 Metal 函数，它将从 sRGB 转换为线性值，然后您可以将其写入 Metal 着色器（我仍然建议您写入 sRGB 纹理，但您也可以写入 16 位纹理）。请注意，sRGB 不是简单的 2.2 伽玛曲线。

// Convert a non-linear log value to a linear value.
// Note that normV must be normalized in the range [0.0 1.0].

static inline
float sRGB_nonLinearNormToLinear(float normV)
{
  if (normV <= 0.04045f) {
    normV *= (1.0f / 12.92f);
  } else {
    const float a = 0.055f;
    const float gamma = 2.4f;
    //const float gamma = 1.0f / (1.0f / 2.4f);
    normV = (normV + a) * (1.0f / (1.0f + a));
    normV = pow(normV, gamma);
  }

  return normV;
}

如何使用 rgba16Float MTLPixelFormat 显示 MTKView

how to display MTKView with rgba16Float MTLPixelFormat

color-space

cgcolorspace

swift

metal

mtlbuffer