他为 Caffe 初始化?

He-initialization for Caffe?

我知道我可以用 xaviergaussian 在 caffe 中初始化卷积网络的权重。可悲的是,我找不到在 caffe 中实现的任何其他初始化方法。特别是,我想按照本文中的建议使用 PReLU 初始化:https://arxiv.org/pdf/1502.01852.pdf

这个shomewho是用caffe和pycaffe实现的吗?

他等人使用初始化方案对给定层的每个权重 w 进行独立同分布 (iid) 采样:

但是,您可能知道 Var(aX) = a^2 Var(X)。因此:

因此您可以简单地用 gaussian 初始化权重,然后将它们与 2 / n_l 相乘。

MSRA(微软亚洲研究院)填充器在论文发布几个月后在 Caffe 中实现。您可以将它与 msra 参数一起使用。

See the documentation for more information.