如何使用变分自动编码器作为特征提取器？

Question

我想使用我在图像数据集上训练的 VAE 作为另一个任务的特征提取器，这样我就可以用我的 VAE 替换 ResNet 来进行特征提取。 我为此使用哪些图层？

使用“标准”自动编码器，您只需采用编码网络，但由于 VAE 的潜在层由均值和分布组成，我不知道应该使用哪些层来进行特征提取。

有人知道如何使用 VAE 作为特征提取器以及使用不同组件时需要考虑什么吗？

Answer 1

隐藏变量 z 在 VAE 中用作降维的提取特征。这是一个降维示例，从原始 space ([x1,x2,x3,x4]) 中的四个特征降维到减少后的 space ([z1,z2]) (source) 中的两个特征：

训练完模型后，您可以将样本传递给编码器，它会提取特征。您可能会在 mnist 数据 here 上找到一个 Keras 实现示例（请参阅 plot_label_clusters 函数）：