为什么学习率在 SOM 中随着迭代而变化

Question

通常学习率是我们在开始时决定的一个值，通常它不会随着迭代次数的增加而改变。 但是在SOM中学习率是随着迭代而变化的，这背后的想法是什么？

据我了解，学习率应该随着迭代次数的增加而降低。这是为什么？

Answer 1

原因很简单。 SOM 在数学模型方面设计不当，需要降低学习率以确保收敛。换句话说，如果您不更改此值，学习过程可能根本不会停止。这个问题在某种程度上被称为 "Principal Curves" 和 "Principal Manifolds" 的更多数学模型解决了，它们不太受欢迎，但引入了有效的数学方法来学习类似 SOM 的表示。