权重初始化的随机性如何影响神经网络的训练结果?

How does the randomness in the weight initialization affect a neural network's training result?

一般来说,是否值得为多组随机初始权重训练网络并选择最佳结果?

是的,有两个原因:

a) 许多不同的集合(比如数百个)将使您有更好的机会找到最佳解决方案(如果存在的话);和

b) 即使您没有找到最优解,重复的运行也会让您更好地理解解决方案 space(问题的本质)和验证(或无效)您的方法。

运行 使用一个或几个不同的初始权重集进行的实验并不能说明结果的可重复性。