使用backpagation更新多层神经网络中一个随机层的权重？
weight update of one random layer in multilayer neural network using backpagation?
在使用反向传播训练多层神经网络时，每次迭代都会更新所有层的权重。
我在想，如果我们随机 select 任何层并仅在反向传播的每次迭代中更新该层的权重。
它将如何影响训练时间？模型性能（模型的泛化能力）是否受到此类训练的影响？
我的直觉是泛化能力相同，训练时间会减少。如有错误请指正
你的直觉错了。您提议的是块协调下降，虽然如果梯度不相关，这样做是有意义的，但在这种情况下这样做是没有意义的。
NN 中的问题在于，由于链式法则，您可以免费获得前一层的梯度，同时计算任何单层的梯度。因此，您只是无缘无故地丢弃了这些信息。
在使用反向传播训练多层神经网络时，每次迭代都会更新所有层的权重。
我在想，如果我们随机 select 任何层并仅在反向传播的每次迭代中更新该层的权重。
它将如何影响训练时间？模型性能（模型的泛化能力）是否受到此类训练的影响？
我的直觉是泛化能力相同，训练时间会减少。如有错误请指正
你的直觉错了。您提议的是块协调下降，虽然如果梯度不相关，这样做是有意义的，但在这种情况下这样做是没有意义的。
NN 中的问题在于，由于链式法则，您可以免费获得前一层的梯度，同时计算任何单层的梯度。因此，您只是无缘无故地丢弃了这些信息。