如何从 bert 微调模型中嵌入?
How to get embedding from bert finetuned model?
我使用 transformer 和 torch 对 'bert-base-uncased' 模型进行了微调,这给了我 pytorch_model.bin、vocab.txt 和其他文件作为输出。
加载模型后如何获得完整词汇的嵌入,例如将每个单词映射到其嵌入向量的矩阵
我推荐使用 Huggingface,它们使使用和训练所有 Transformer 模型变体变得非常容易。
要从 BERT 微调模型中获取嵌入,您可以使用 BertModel.set_input_embeddings()。
我使用 transformer 和 torch 对 'bert-base-uncased' 模型进行了微调,这给了我 pytorch_model.bin、vocab.txt 和其他文件作为输出。 加载模型后如何获得完整词汇的嵌入,例如将每个单词映射到其嵌入向量的矩阵
我推荐使用 Huggingface,它们使使用和训练所有 Transformer 模型变体变得非常容易。
要从 BERT 微调模型中获取嵌入,您可以使用 BertModel.set_input_embeddings()。