如何在 Fastai 学习者语言模型中从编码器获取句子嵌入
How to get sentence embeddings from encoder in Fastai learner language model
我能够使用快速人工智能微调语言模型。我想从句子相似度的微调模型中提取句子嵌入。如何获取编码器模型嵌入?也可以将嵌入与点积进行比较,就像来自其他模型(例如 USE)的其他嵌入一样?
data_lm = TextLMDataBunch.from_df(train_df = se1, valid_df = se2, path = "",text_cols='text')
learn = language_model_learner(data_lm,drop_mult=0.7,pretrained=True,arch=AWD_LSTM)
learn.fit_one_cycle(3, 1e-01)
我的代码在上面如何从学习中获取编码?
这应该给你编码器(这是一个嵌入层):
learn.model[0].encoder
我能够使用快速人工智能微调语言模型。我想从句子相似度的微调模型中提取句子嵌入。如何获取编码器模型嵌入?也可以将嵌入与点积进行比较,就像来自其他模型(例如 USE)的其他嵌入一样?
data_lm = TextLMDataBunch.from_df(train_df = se1, valid_df = se2, path = "",text_cols='text')
learn = language_model_learner(data_lm,drop_mult=0.7,pretrained=True,arch=AWD_LSTM)
learn.fit_one_cycle(3, 1e-01)
我的代码在上面如何从学习中获取编码?
这应该给你编码器(这是一个嵌入层):
learn.model[0].encoder