具有少量特征的自动编码器中隐藏节点的数量

Question

我有一个包含 2 个特征和 10000 个样本的数据集。我想将这两个功能转换（集成）为一个功能，以供进一步分析。所以我想用特征提取的方法。由于两个特征之间的关系不是线性的，我想使用传统PCA以外的方法。

因为样本数量远大于特征数量，我认为autoencoder是一种很好的特征提取方式。但是输入的feature只有2个，那么autoencoder的shape只会是2-1-2，也就是线性提取。

是否可以设置隐藏节点多于输入个数，做stacked autoencoder，比如2-16-8-1-8-16-2节点？

另外，这种数据集成使用自动编码器是个不错的选择吗？如果不行，有没有更好的解决办法？

Answer 1

为什么这是线性提取？如果您在隐藏层和输出层中使用任何非正则性，您将在它们之间获得非线性关系。您的编码本质上是 sigmoid(Ax + b).

如果你真的想让你的网络更复杂，我建议在单个神经元层之前使用多个 2 个神经元层。所以像这样 2 - 2 - 2 - 1 - 2 - 2 - 2 个节点。我看不出有任何理由需要将其扩大。