如何将现有的 OpenGL 纹理转换为金属纹理
How to Convert Existing OpenGL Texture to Metal Texture
我正在为 Motion 和 FCP X 开发一些 FxPlug 插件。最终,我想让它们在 Metal 中呈现,因为 Apple 正在弃用 OpenGL。
我目前正在使用 CoreImage,虽然我已经能够使用 CoreImage 功能在 FxPlug SDK 之外进行 Metal 处理,但 FxPlug 仅向我提供作为 OpenGL 纹理的帧。我试过将它传递给 CoreImage 过滤器,但我最终得到了这个错误:
Cannot render image (with an input GL texture) using a metal-DG context.
经过一段时间的 research,我发现我可以使用 CVPixelBuffers 在两者之间共享纹理,但是在尝试使用这种方法编写代码一段时间后,我开始相信这是一种将(如从头开始创建)写入共享缓冲区的方式,但不能在两者之间进行转换。虽然这可能不正确,但我找不到让现有 GL 纹理存在于 CVPixelBuffer 中的方法。
TL;DR:我找到了从 CVPixelBuffer 获取结果 Metal 或 OpenGL 纹理的方法,但我找不到从现有 OpenGL 纹理创建 CVPixelBuffer 的方法。我不喜欢这种方法,因为我的最终目标是简单地从 OpenGL 转换为 Metal,然后再转换回 OpenGL(理想情况下以一种有效的方式)。
有没有其他人找到将 FxPlug 与 Metal 一起使用的方法?有什么好的方法可以将 OpenGL 纹理转换为 Metal/CVPixelBuffer?
我编写了一个同时使用 OpenGL 纹理和金属纹理的 FxPlug。您要查找的是 IOSurface
。它们是可以与 Metal 或 OpenGL 一起使用的纹理,尽管它们有一些限制。因此,如果您已经拥有 Metal 或 OpenGL 纹理,则必须将其复制到 IOSurface
中以用于其他系统。
要创建一个 IOSurface
,您可以使用 CVPixelBuffer
s(通过包含 kCVPixelBufferIOSurfacePropertiesKey)或者您可以直接使用 IOSurface
class 在 <IOSurface/IOSurfaceObjC.h>
中定义。
一旦你有了 IOSurface
,你可以通过 CGLTexImageIOSurface2D()
从 IOSurface
获取 OpenGL 纹理(在 <OpenGL/CGLIOSurface.h>
中定义),将你的 OpenGL 纹理复制到其中.然后,您获取该纹理并将其用作 FBO 的背景纹理。例如,您可以使用输入 FxTexture
作为纹理在其中绘制一个带纹理的四边形。确保调用 glFlush()
完成!
接下来获取 IOSurface
并通过 -[MTLDevice newTextureWithDescriptor:ioSurface:plane:]
从中创建一个 MTLTexture
(描述为 here)。您需要创建一个输出 IOSurface
来绘制并从中创建一个 MTLTexture
。将 Metal 渲染到输出中 MTLTexture
。接下来,获取输出 IOSurface
并通过 CGLTexImageIOSurface2D()
从中创建一个 OpenGL 纹理。现在将该 OpenGL 纹理复制到输出 FxTexture 中,方法是将其用作纹理支持的 FBO 的支持或您喜欢的任何其他方法。
如您所见,这样做的缺点是每次渲染都需要 2 个副本 - 1 个输入到 IOSurface
和 1 个输出 IOSurface
到应用程序提供的输出纹理你。另一个缺点是,这可能完全没有实际意义,因为 Apple 公开宣布他们将终止对 OpenGL 的支持,他们可能已经在研究基于 Metal 的解决方案。自己做这一切可能是额外的工作。 (虽然好处是您可以在其他仅支持 OpenGL 的主机应用程序中使用相同的代码。)
我正在为 Motion 和 FCP X 开发一些 FxPlug 插件。最终,我想让它们在 Metal 中呈现,因为 Apple 正在弃用 OpenGL。
我目前正在使用 CoreImage,虽然我已经能够使用 CoreImage 功能在 FxPlug SDK 之外进行 Metal 处理,但 FxPlug 仅向我提供作为 OpenGL 纹理的帧。我试过将它传递给 CoreImage 过滤器,但我最终得到了这个错误:
Cannot render image (with an input GL texture) using a metal-DG context.
经过一段时间的 research,我发现我可以使用 CVPixelBuffers 在两者之间共享纹理,但是在尝试使用这种方法编写代码一段时间后,我开始相信这是一种将(如从头开始创建)写入共享缓冲区的方式,但不能在两者之间进行转换。虽然这可能不正确,但我找不到让现有 GL 纹理存在于 CVPixelBuffer 中的方法。
TL;DR:我找到了从 CVPixelBuffer 获取结果 Metal 或 OpenGL 纹理的方法,但我找不到从现有 OpenGL 纹理创建 CVPixelBuffer 的方法。我不喜欢这种方法,因为我的最终目标是简单地从 OpenGL 转换为 Metal,然后再转换回 OpenGL(理想情况下以一种有效的方式)。
有没有其他人找到将 FxPlug 与 Metal 一起使用的方法?有什么好的方法可以将 OpenGL 纹理转换为 Metal/CVPixelBuffer?
我编写了一个同时使用 OpenGL 纹理和金属纹理的 FxPlug。您要查找的是 IOSurface
。它们是可以与 Metal 或 OpenGL 一起使用的纹理,尽管它们有一些限制。因此,如果您已经拥有 Metal 或 OpenGL 纹理,则必须将其复制到 IOSurface
中以用于其他系统。
要创建一个 IOSurface
,您可以使用 CVPixelBuffer
s(通过包含 kCVPixelBufferIOSurfacePropertiesKey)或者您可以直接使用 IOSurface
class 在 <IOSurface/IOSurfaceObjC.h>
中定义。
一旦你有了 IOSurface
,你可以通过 CGLTexImageIOSurface2D()
从 IOSurface
获取 OpenGL 纹理(在 <OpenGL/CGLIOSurface.h>
中定义),将你的 OpenGL 纹理复制到其中.然后,您获取该纹理并将其用作 FBO 的背景纹理。例如,您可以使用输入 FxTexture
作为纹理在其中绘制一个带纹理的四边形。确保调用 glFlush()
完成!
接下来获取 IOSurface
并通过 -[MTLDevice newTextureWithDescriptor:ioSurface:plane:]
从中创建一个 MTLTexture
(描述为 here)。您需要创建一个输出 IOSurface
来绘制并从中创建一个 MTLTexture
。将 Metal 渲染到输出中 MTLTexture
。接下来,获取输出 IOSurface
并通过 CGLTexImageIOSurface2D()
从中创建一个 OpenGL 纹理。现在将该 OpenGL 纹理复制到输出 FxTexture 中,方法是将其用作纹理支持的 FBO 的支持或您喜欢的任何其他方法。
如您所见,这样做的缺点是每次渲染都需要 2 个副本 - 1 个输入到 IOSurface
和 1 个输出 IOSurface
到应用程序提供的输出纹理你。另一个缺点是,这可能完全没有实际意义,因为 Apple 公开宣布他们将终止对 OpenGL 的支持,他们可能已经在研究基于 Metal 的解决方案。自己做这一切可能是额外的工作。 (虽然好处是您可以在其他仅支持 OpenGL 的主机应用程序中使用相同的代码。)