在 Stacked Denoising Autoencoder 的哪里添加噪声?
Where to add noise in the Stacked Denoising Autoencoder?
对于堆叠式降噪自动编码器如下
原图来自link
我想知道在哪里添加噪音?对于单层去噪自动编码器,我们只向输入添加噪声。
对于多层去噪自编码器,是需要在图中1,2,3,4
位置加噪声,还是只需要在1
位置加噪声?
谢谢
图中没有显示堆叠式自动编码器——它是一个 "deeper" 自动编码器,具有单个编码器(由中间层组成)、单个 code/latent vector/hidden 层和一个解码器(也有一个中间层)。
堆叠式降噪自动编码器与堆叠式自动编码器相同,但您将每一层的自动编码器替换为降噪自动编码器,同时保持架构的其余部分相同。
值得一提的是,在每一层中,您都试图重建自动编码器的先前输入——添加了一些噪声,您可以简单地将其视为破坏输入。
对于所有后续层,您基本上是在重建上一层中自动编码器的输出(即隐藏层)。
此外,为了回答您的问题 - 您需要在每一层中添加噪声。
可在此处找到更多信息:http://psyyz10.github.io/2015/11/SDA/
对于堆叠式降噪自动编码器如下
我想知道在哪里添加噪音?对于单层去噪自动编码器,我们只向输入添加噪声。
对于多层去噪自编码器,是需要在图中1,2,3,4
位置加噪声,还是只需要在1
位置加噪声?
谢谢
图中没有显示堆叠式自动编码器——它是一个 "deeper" 自动编码器,具有单个编码器(由中间层组成)、单个 code/latent vector/hidden 层和一个解码器(也有一个中间层)。
堆叠式降噪自动编码器与堆叠式自动编码器相同,但您将每一层的自动编码器替换为降噪自动编码器,同时保持架构的其余部分相同。
值得一提的是,在每一层中,您都试图重建自动编码器的先前输入——添加了一些噪声,您可以简单地将其视为破坏输入。
对于所有后续层,您基本上是在重建上一层中自动编码器的输出(即隐藏层)。
此外,为了回答您的问题 - 您需要在每一层中添加噪声。
可在此处找到更多信息:http://psyyz10.github.io/2015/11/SDA/