如何在chainer中设置个体Link/Function的学习率?
How to set learning rate of individual Link/Function in chainer?
caffe 可以做到这一点。因为神经网络的某些层需要较大的学习率,而 conv 层需要较小的 lr。如何在chainer中控制不同层有不同的lr,以便优化器可以根据相应的lr进行更新?
您可以为update_rule
的每个参数覆盖hyperparam
,它指定了optimizer
的更新策略,在link中如下所示,
model.l1.W.update_rule.hyperparam.lr = 0.01
有关详细信息,我已经在
回答了相同的问题
顺便说一下,chainer 的 Function 没有任何 parameter
要更新,因此 function 没有 update_rule
.
caffe 可以做到这一点。因为神经网络的某些层需要较大的学习率,而 conv 层需要较小的 lr。如何在chainer中控制不同层有不同的lr,以便优化器可以根据相应的lr进行更新?
您可以为update_rule
的每个参数覆盖hyperparam
,它指定了optimizer
的更新策略,在link中如下所示,
model.l1.W.update_rule.hyperparam.lr = 0.01
有关详细信息,我已经在
回答了相同的问题顺便说一下,chainer 的 Function 没有任何 parameter
要更新,因此 function 没有 update_rule
.