多层的多个激活函数（神经网络）
Multiple Activation Functions for multiple Layers (Neural Networks)
我的神经网络存在二元分类问题。
我已经在我的隐藏层使用 ReLU 激活函数和在输出层使用 sigmoid 函数得到了很好的结果。
现在我正在努力获得更好的结果。
我用 ReLU 激活函数添加了第二个隐藏层，结果变得更好。
我尝试对第二个隐藏层使用 leaky ReLU 函数而不是 ReLU 函数并获得了更好的结果，但我不确定这是否被允许。
所以我有这样的东西：
隐藏层 1：ReLU 激活函数
隐藏层 2：leaky ReLU 激活函数
隐藏层 3：sigmoid 激活函数
我找不到很多关于它的资源，而我找到的资源总是在所有隐藏层上使用相同的激活函数。
如果你指的是Leaky ReLU，我可以这么说，其实Parametric ReLU (PReLU) 是泛化传统整流单元和leaky ReLU 的激活函数。是的，PReLU 改进了模型拟合，没有显着的额外计算成本并且过拟合风险很小。
更多详情，你可以看看这个linkDelving Deep into Rectifiers
我的神经网络存在二元分类问题。
我已经在我的隐藏层使用 ReLU 激活函数和在输出层使用 sigmoid 函数得到了很好的结果。 现在我正在努力获得更好的结果。 我用 ReLU 激活函数添加了第二个隐藏层，结果变得更好。 我尝试对第二个隐藏层使用 leaky ReLU 函数而不是 ReLU 函数并获得了更好的结果，但我不确定这是否被允许。
所以我有这样的东西： 隐藏层 1：ReLU 激活函数 隐藏层 2：leaky ReLU 激活函数 隐藏层 3：sigmoid 激活函数
我找不到很多关于它的资源，而我找到的资源总是在所有隐藏层上使用相同的激活函数。
如果你指的是Leaky ReLU，我可以这么说，其实Parametric ReLU (PReLU) 是泛化传统整流单元和leaky ReLU 的激活函数。是的，PReLU 改进了模型拟合，没有显着的额外计算成本并且过拟合风险很小。
更多详情，你可以看看这个linkDelving Deep into Rectifiers