CNTK:训练使用预训练嵌入初始化的嵌入层?
CNTK: train Embedding layer initialized with pretrained embeddings?
Embedding
层 (https://www.cntk.ai/pythondocs/layerref.html#embedding) 的文档显示可以使用 weights
参数使用预训练嵌入对其进行初始化,但这些嵌入在训练期间不会更新。
有没有办法用预训练的嵌入来初始化 Embedding
层并在训练期间仍然更新它们?
如果不是,使用一个热向量进行批量嵌入查找的最有效方法是什么?
是的,只需将初始值传递给 init
参数即可。这将创建一个可学习的参数,该参数使用您传入的数组进行初始化。
Embedding
层 (https://www.cntk.ai/pythondocs/layerref.html#embedding) 的文档显示可以使用 weights
参数使用预训练嵌入对其进行初始化,但这些嵌入在训练期间不会更新。
有没有办法用预训练的嵌入来初始化 Embedding
层并在训练期间仍然更新它们?
如果不是,使用一个热向量进行批量嵌入查找的最有效方法是什么?
是的,只需将初始值传递给 init
参数即可。这将创建一个可学习的参数,该参数使用您传入的数组进行初始化。