具有随机连接的神经网络还能正常工作吗？

Can a neural network with random connections still work correctly?

假设我们有一个有 n 层的神经网络，其中连接不只是从第 i 层到第 i+1 层，而是可以从任何第 i 层到任何第 k 层，使得 k > i。例如;从第 1 层直接连接到第 3 层，或从第 2 层直接连接到第 n 层，等等...

给定任意训练函数和每层的一些选定激活函数，这样的神经网络是否仍能正常工作？

我认为简短的回答是肯定的，但是，与神经网络一样，这取决于您的问题。

您在问题中描述的架构类型称为 "skip-layer" 模型。有关跳过层连接的简要讨论，您可能需要查看这些在线资源：

总结：跳层连接可以工作，但它们的工作效果在很大程度上取决于您的问题，以及网络模型其余部分的构建和优化方式。

对于（任何）NN，您得到的是链式激活函数的组合。

只要所有连接的权重都能为您提供良好的分类结果，跳过一些层应该没有关系。

从数学上讲，您仍然可以使用链式法则进行反向传播，我想它与逐层反向传播相比不太干净。

我看到的唯一问题是跳过太多层，您的模型可能不够复杂，无法捕捉输入和输出之间的关系，这对于神经网络来说通常不是问题。