CIKernel 的意外行为

Question

我做了这个例子来说明问题。它通过硬编码坐标从纹理中获取 1 个像素，并将其用作着色器中每个像素的结果。我希望所有图像都具有相同的颜色。当图像很小时它工作得很好，但是当我处理大图像时它会产生奇怪的结果。例如，这里的图像大小为 7680x8580，您可以看到 4 个正方形：

这是我的代码

kernel vec4 colorKernel(sampler source)
{
    vec4 key = sample(source, samplerTransform(source, vec2(100., 200.)));
    return key;
}

这是我初始化内核的方式：

override var outputImage: CIImage? {
        return colorFillKernel.apply(
                extent: CGRect(origin: CGPoint.zero, size: inputImage!.extent.size),
                roiCallback:
                {
                    (index, rect) in
                    return rect
                },
                arguments: [
                    inputImage])
    }

此外，这段代码可以正确显示图像，没有变化和方块：

vec2 dc = destCoord();
return sample(source, samplerTransform(source, dc));

在 public 文档中说“Core Image 会自动将大图像分割成较小的图块进行渲染，因此您的回调可能会被调用多次。”但我找不到处理这种情况的方法。我有千变万化的效果，我需要从任何这个图块中获取另一个图块中的像素...

Answer 1

我认为问题的发生是由于错误定义的感兴趣区域与平铺相结合。

在 roiCallback 中，Core Image 询问您 输入图像 的哪个区域（在 index 以防您有多个输入）您内核需要查看以生成输出图像的给定区域 (rect)。之所以是闭包，是因为平铺：
如果处理后的图像太大，Core Image 会将其分解成多个图块，分别渲染这些图块，然后再将它们拼接在一起。对于每个图块，Core Image 会询问您内核需要读取输入图像的哪一部分来生成图块。

因此对于您的输入图像，roiCallback 在渲染过程中可能会被调用四次（甚至更多），例如使用以下矩形：

CGRect(x: 0,    y: 0,    width: 4096, height: 4096) // top left
CGRect(x: 4096, y: 0,    width: 3584, height: 4096) // top right
CGRect(x: 0,    y: 4096, width: 4096, height: 4484) // bottom left
CGRect(x: 4096, y: 4096, width: 3584, height: 4484) // bottom right

这是Core Image的一种优化机制。它只想读取和处理生成给定输出区域所需的像素。因此，最好根据您的用例尽可能地调整 ROI。

现在投资回报率取决于内核。基本上有四种情况：

您的内核在输入像素和输出像素之间有一个 1:1 映射。因此，为了产生输出颜色值，需要从输入图像中读取相同位置的像素。在这种情况下，您只需 return 在 roiCallback 中输入 rect。（或者更好的是，您使用为这个用例制作的 CIColorKernel。）
您的内核执行某种卷积，不仅需要输入像素与输出像素处于同一坐标，还需要它周围的某个区域（例如用于模糊操作）。你的 roiCallback 可能看起来像这样：
```
let inset = self.radius // like radius of CIGaussianBlur
let roiCallback: CIKernelROICallback = { _, rect in 
    return rect.insetBy(dx: -inset, dy: -inset) 
}
```
您的内核始终需要读取输入的特定区域，而不管呈现输出的哪一部分。然后你可以 return 回调中的特定区域：
```
let roiCallback: CIKernelROICallback = { CGRect(x: 100, y: 200, width: 1, height: 1) }
```
内核总是需要访问整个输入图像。例如，当您使用某种查找 table 来导出颜色时就是这种情况。在这种情况下，您可以只 return 输入的范围而忽略参数：
```
let roiCallback: CIKernelROICallback = { inputImage.extent }
```

对于您的示例，方案 3 应该是正确的选择。对于您的万花筒效果，我假设您需要目标坐标周围的某个区域或源像素才能产生输出像素。因此，最好计算该区域的大小并使用方案 2 中的 roiCallback。

P.S.: 现在不推荐使用 Core Image 内核语言 (CIKernel(source: "<code>"))。您应该考虑改为使用金属着色语言编写您的内核。查看今年的 WWDC talk 以了解更多信息。

CIKernel 的意外行为

Unexpected behaviour with CIKernel

xcode

shader

ios

metal

cikernel