他为 Caffe 初始化?
He-initialization for Caffe?
我知道我可以用 xavier
或 gaussian
在 caffe 中初始化卷积网络的权重。可悲的是,我找不到在 caffe 中实现的任何其他初始化方法。特别是,我想按照本文中的建议使用 PReLU 初始化:https://arxiv.org/pdf/1502.01852.pdf
这个shomewho是用caffe和pycaffe实现的吗?
他等人使用初始化方案对给定层的每个权重 w 进行独立同分布 (iid) 采样:
但是,您可能知道 Var(aX) = a^2 Var(X)。因此:
因此您可以简单地用 gaussian
初始化权重,然后将它们与 2 / n_l
相乘。
MSRA(微软亚洲研究院)填充器在论文发布几个月后在 Caffe 中实现。您可以将它与 msra
参数一起使用。
我知道我可以用 xavier
或 gaussian
在 caffe 中初始化卷积网络的权重。可悲的是,我找不到在 caffe 中实现的任何其他初始化方法。特别是,我想按照本文中的建议使用 PReLU 初始化:https://arxiv.org/pdf/1502.01852.pdf
这个shomewho是用caffe和pycaffe实现的吗?
他等人使用初始化方案对给定层的每个权重 w 进行独立同分布 (iid) 采样:
但是,您可能知道 Var(aX) = a^2 Var(X)。因此:
因此您可以简单地用 gaussian
初始化权重,然后将它们与 2 / n_l
相乘。
MSRA(微软亚洲研究院)填充器在论文发布几个月后在 Caffe 中实现。您可以将它与 msra
参数一起使用。