潜在 space 图像插值

Latent space image interpolation

谁能告诉我如何(或它的名称,以便我查找)我可以实现这种插值效果? https://www.youtube.com/watch?v=36lE9tV9vm0&t=3010s&frags=pl%2Cwn

我尝试在每次迭代中使用 r = r+dr、g = g+dr 和 b = b+db 作为 RGB 值,但与视频效果相比,它看起来太简单了。

在另一个视频里找到的,叫"latent space interpolation",必须要用在压缩图上。如果我有图像 A 而下一个图像是图像 B,我必须首先对 A 和 B 进行编码,对编码数据使用插值,最后对结果图像进行解码。

"Can someone tell me how I can implement this interpolation effect?
(or the name of it, so that I could look it up)...
"

这实际上不是命名插值效果。它 看起来 进行插值,但实际上它只是一些虚构面部 "features" 的实时更新变化(头发、眼睛、鼻子等 合成 像素从 library/database 个可能的匹配要素类型中提取 个提示

对于这项技术,他们使用神经网络来执行类似于 DFT 图像重建 的过程。您将在 Frequency 域(使用 u,v)中修改图像数据,而不是 Time 域(使用 x,y)。

您可以在这个 PDF 中阅读它:
https://research.nvidia.com/sites/default/files/pubs/2017-10_Progressive-Growing-of/karras2018iclr-paper.pdf

(Python)源代码:
https://github.com/tkarras/progressive_growing_of_gans

关于想法,您可以在 Youtube 上查找:

  • DFT image reconstruction(b/w Nicholas Cage 照片分阶段重建的一个很好的例子。大声的音乐警告)。

  • Image Synthesis 与神经网络(一个片段有不同的鞋子和手提包设计(物品照片)被 N.N "synthesized"。在它分析之后来自其他现有目录照片的特征 "inspiration".

  • Image Enhancement Super Resolution using neural networks 这种方法最接近回答你的问题。一个示例在 b/w 中有非常低分辨率的模糊像素化图像。分不清是男孩还是女孩。在测试期间,网络会合成各种它认为与测试输入正确匹配的更高质量的人脸图像。

理解what/how他们已经实现了,你可以想出一些快捷方式来获得类似的效果而不需要网络,例如:只使用常规的像素编辑功能。

直到今天,我发现这种插值效果可以很容易地实现3d图像数据。也就是说,如果图像数据以标准化和以 3d 原点为中心的方式可用,例如在原点周围的单位球体中,并且每个面部图像的数据都在该单位球体内。以这种方式存储两个图像的数据后,可以通过以某个所需分辨率获取穿过原点中心和球体每个区域的光线的差异来计算插值。