根据复杂性添加层的神经网络架构?

Neural Network Architectures that add layers based on complexity?

我正在搜索根据需要或 complexity/variability 训练数据增长的神经网络架构的现有工作。我发现的一些架构包括自组织地图和不断增长的神经气体。只有这些吗?

我正在寻找的东西最好用一个简单的场景来说明; 如果训练数据只有几个模式,那么神经网络将有 2-3 层深,每层都有一小组节点。如果训练数据更复杂,那么我们会看到更深的网络。

这样的工作在 AI 文献中似乎很少见或没有。是因为性能比较弱?如果有任何指导,我将不胜感激。

这方面的一个例子叫做神经进化。你可以做的是将反向传播与进化结合起来,为你的数据集找到最佳结构。 Neataptic 是提供神经进化的神经网络库之一。通过一些简单的编码,您可以将其转化为反向传播 + 进化。

这样做的缺点是它需要更多的计算能力,因为它需要一个遗传算法来 运行 整个种群。所以使用神经进化确实使性能相对较弱。

不过,我认为还有更多技术可以禁用某些节点,如果对输出没有负面影响,它们将被删除。不过我不确定。