在额外的训练数据上训练训练好的 seq2seq 模型
Training trained seq2seq model on additional training data
我用1M样本训练了一个seq2seq模型,并保存了最新的checkpoint。现在,我有一些额外的 50K 句对的训练数据,这在以前的训练数据中是没有的。如何在不从头开始训练的情况下使当前模型适应这些新数据?
您不必重新运行整个网络初始化。您可以 运行 一个 incremental training.
Training from pre-trained parameters
Another use case it to use a base model and train it further with new training options (in particular the optimization method and the learning rate). Using -train_from
without -continue
will start a new training with parameters initialized from a pre-trained model.
记得像标记前一个语料库一样标记化你的 50K 语料库。
此外,您不必使用从 OpenNMT 0.9 开始的相同词汇表。请参阅 Updating the vocabularies 部分并使用带有 -update_vocab
选项的适当值。
我用1M样本训练了一个seq2seq模型,并保存了最新的checkpoint。现在,我有一些额外的 50K 句对的训练数据,这在以前的训练数据中是没有的。如何在不从头开始训练的情况下使当前模型适应这些新数据?
您不必重新运行整个网络初始化。您可以 运行 一个 incremental training.
Training from pre-trained parameters
Another use case it to use a base model and train it further with new training options (in particular the optimization method and the learning rate). Using
-train_from
without-continue
will start a new training with parameters initialized from a pre-trained model.
记得像标记前一个语料库一样标记化你的 50K 语料库。
此外,您不必使用从 OpenNMT 0.9 开始的相同词汇表。请参阅 Updating the vocabularies 部分并使用带有 -update_vocab
选项的适当值。