神经网络:拟合一个函数

Neural network: fit a function

你能使用只有一个输入、一个输出和一个单层的神经网络来逼近一个函数(不同于直线,但仍在 x,y 平面上:如 cos、sin、arc、exp 等)隐藏的神经元?

是的,你可以!其实这就是通用逼近理论所说的,简而言之:具有单个隐藏层的前馈网络可以逼近任何连续函数。但是,它没有说明该层中的神经元数量(可能非常多)以及通过算法优化此类网络权重的能力。它只是说存在这样的网络。

这是 Cybenko 对原始出版物的 link,他使用 sigmoid 激活函数作为证明:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.441.7873&rep=rep1&type=pdf

这里还有更友好的推导:http://mcneela.github.io/machine_learning/2017/03/21/Universal-Approximation-Theorem.html