Core Image Kernel Language 的 OpenGL 坐标系

Question

我正在编写一个简单的（至少我认为它会很简单）自定义内核，它获取指定像素和整个图像的差异。下面是我的代码，这只是制作过滤器。用在游乐场玩也不错。

import UIKit
import CoreImage

let Flower = CIImage( image: UIImage(named: "flower.png")!)!

class Test: CIFilter
{
var inputImage1 : CIImage?
var inputImage2 : CIImage?

var kernel = CIKernel(string:
"kernel vec4 colorRemap(sampler inputIm, sampler GaussIm)      " +
"{                                                             " +
"vec4 size = samplerExtent(inputIm);                           " +
"float row = 1.0;                                              " + 
"float column = 1.0;                                           " + 
"float pixelx = (column - 1.0)/(size.w - 1.0)+1.0/(2.0*size.z);" +
"float pixely = (size.z - row)/(size.z - 1.0)-1.0/(2.0*size.w);" +
"vec3 g0 =sample(GaussIm,vec2(pixelx,pixely)).rgb;             " +
"vec3 current = sample(inputIm,samplerCoord(inputIm)).rgb;     " +
"vec3 diff =(current - g0);                                    " +
"return vec4(diff,1.0);                                        " +
"}                                                             "
)
    var extentFunction: (CGRect, CGRect) -> CGRect =
    { (a: CGRect, b: CGRect) in return CGRectZero }
    override var outputImage: CIImage!
{
    if let inputImage1 = inputImage1,
        inputImage2 = inputImage2,
        kernel = kernel
    {
        let extent = inputImage1.extent
        let arguments = [inputImage1,inputImage2]

        return kernel.applyWithExtent(extent,
                                      roiCallback:
            { (index, rect) in
                return rect

            },
            arguments: arguments)

    }
    return nil
}
}

要使用过滤器，您可以执行以下操作

let filter = Test()
filter.inputImage1 = Flower
filter.inputImage2 = Flower
let output = filter.outputImage

现在，在上面的代码中，我指定我们正在获取位于 GaussIm 的 (1,1) 处的像素之间的差异，就好像我们将图像视为矩阵（在通常情况下sense），以及inputIm的整个图像。

玩过之后，我开始意识到自定义内核语言处理图像有点像 OpenGL。左下角映射到 (0,0)，右上角映射到 (1,1)，因此像素坐标是 0 到 1 之间的数字。问题是我想指定我想要的任何像素用来取差。

内核代码的前 5 行试图通过计算图像中每个像素位置的中心来缓解这种情况。考虑到 OpenGL 如何处理它的图像，我不确定这是否正确，或者也许有更好的方法。

如果我运行上面这段代码，用下面的图片：

我通过 XCode 得到以下信息：

此外，如果我在 MATLAB 中做同样的事情，我会得到以下输出：

为什么我得到的输出与 MATLAB 中的不同？它几乎看起来比我从我的自定义过滤器中得到的要暗一点，但它们同时接近相同的输出。我的想法是，这一定是自定义内核处理像素差异的方式，但我不太确定发生了什么。

Answer 1

我最终弄明白了这一点——裁剪的原因是图像计算方式的性质。这项工作是在操场上完成的，而不是在上下文中完成的，因此显示的任何内容都被裁剪到 [0,1] 的范围内。解决此问题的方法是通过选项确保您正在计算的 CIContext 在其计算中支持浮点精度。

Core Image Kernel Language 的 OpenGL 坐标系

Core Image Kernel Language's OpenGL coordinate system

ios

swift

matlab

opengl-es

core-image