为保护某些权重不被 MxNet 中的培训师更改，推荐的操作是什么？

Question

在 MxNet 中保护一些权重不被训练者更改的推荐操作是什么？

据我所知，如果我想保护 TenserFlow 中的一些权重，我应该阻止它们被传递给优化器。因此，我在 MxNet 中使用以下代码执行相同操作。

all_params = net.collect_params()

 while True:

    firstKey = next(iter(all_params._params))

    if 'resnet' not in firstKey:

        break

    all_params._params.popitem(last = False)
trainer = mx.gluon.Trainer(all_params,'sgd')

变量 all_params._params 属于罕见类型 OrderedDict。我认为这意味着这本词典中的顺序非常重要。我不应该改变顺序。如上所示，我只能从网络的开头去掉一些参数。很不方便。 “params”开头有一个“下划线_”，表示一般用户不应该收费。

我没有收到任何错误，但我怀疑这不是推荐的操作。

Answer 1

据我了解，您想冻结某些层（因此它们的参数在训练期间保持不变）并且您使用的是 Gluon。

在这种情况下，您可以将 grad_req 属性设置为 'null'（它是一个字符串）以防止更改此参数。这是例子。我定义了一组我想冻结的参数名称，并在创建我的模型之后但在初始化之前冻结它们。

num_hidden = 10
net = gluon.nn.Sequential()
with net.name_scope():
    net.add(gluon.nn.Dense(num_hidden, activation="relu"))
    net.add(gluon.nn.Dense(num_hidden, activation="relu"))
    net.add(gluon.nn.Dense(num_outputs))

layers_to_freeze = set(['sequential1_dense0_weight', 'sequential1_dense0_bias', 'sequential1_dense1_weight', 'sequential1_dense1_bias'])    

for p in net.collect_params().items():
    if p[0] in layers_to_freeze:
        p[1].grad_req = 'null'

net.collect_params().initialize(mx.init.Xavier(magnitude=2.24), ctx=ctx)

如果您运行训练，这些参数不应改变。您可以通过在循环中打印 p[0] 来查找参数名称。

为保护某些权重不被 MxNet 中的培训师更改，推荐的操作是什么？

What is the recommended operation to protect some weights from being changed by the trainer in MxNet?

python

machine-learning

mxnet