在 Stacked Denoising Autoencoder 的哪里添加噪声?

Where to add noise in the Stacked Denoising Autoencoder?

对于堆叠式降噪自动编码器如下 原图来自link

我想知道在哪里添加噪音?对于单层去噪自动编码器,我们只向输入添加噪声。

对于多层去噪自编码器,是需要在图中1,2,3,4位置加噪声,还是只需要在1位置加噪声?

谢谢

图中没有显示堆叠式自动编码器——它是一个 "deeper" 自动编码器,具有单个编码器(由中间层组成)、单个 code/latent vector/hidden 层和一个解码器(也有一个中间层)。

堆叠式降噪自动编码器与堆叠式自动编码器相同,但您将每一层的自动编码器替换为降噪自动编码器,同时保持架构的其余部分相同。

值得一提的是,在每一层中,您都试图重建自动编码器的先前输入——添加了一些噪声,您可以简单地将其视为破坏输入。

对于所有后续层,您基本上是在重建上一层中自动编码器的输出(即隐藏层)。

此外,为了回答您的问题 - 您需要在每一层中添加噪声。

可在此处找到更多信息:http://psyyz10.github.io/2015/11/SDA/