为什么我们在卷积神经网络中的卷积层之后使用激活函数?

Why we use activation function after convolution layer in Convolution Neural Network?

我是机器学习的新手,我不了解卷积神经网络的其中一件事就是为什么我们在卷积层之后执行激活。

因为一个卷积跟一个卷积就是一个卷积。因此,一个任意深度的卷积神经网络,在没有介入某种非卷积层(如 relu 层)的情况下,从根本上等同于只有一层的卷积神经网络。这是因为组合线性变换是线性的:

y = m1*(m2*x + b2) + b1
  = m1 * m2 * x + m1 * b2 + b1

这只是一个线性函数...既然可以只学一个而且完全一样,为什么还要学两个呢?这个逻辑甚至适用于局部线性函数(卷积是局部线性的)。因此,无论是卷积神经网络(还是香草神经网络),我们都必须在线性层之间做一些非线性的事情。 relu 是一个非常简单的非线性函数,它是一个基本的 "bend".

CNN是神经网络之一。神经网络背后的基本思想是,当你有足够的输入时,神经元就会根据激活函数的计算被触发。 称为多后期感知器 (MLP) 的基本神经网络,其中您有 X 维输入,您将其传递给第一个 MLP 层,然后该过程继续进行到下一层,最终在输出端的末端有一个神经元计算出来的可能是基于问题的分类或回归。

在输入图像上应用 filter/kernel 后,以类似的方式。之后,您需要在该卷积图像上应用元素明智的激活函数,如 relu 或 sigmoid。如果你有足够的输入作为其他层的输入,激活函数会产生一个输出。