如何下载 HuggingFace 模型 'transformers.trainer.Trainer'？

Question

在 1 个代码中，我使用 save_pretrained() 函数上传了基于拥抱面 'transformers.trainer.Trainer' 的模型在第二个代码中，我想下载这个上传的模型并用它来进行预测。我在这一步需要帮助 - 如何下载上传的模型然后进行预测？

创建模型的步骤：

from transformers import AutoModelForQuestionAnswering, TrainingArguments, Trainer
model = AutoModelForQuestionAnswering.from_pretrained('xlm-roberta-large)
trainer = Trainer(
model,
args,
train_dataset=tokenized_train_ds,
eval_dataset=tokenized_val_ds,
data_collator=data_collator,
tokenizer=tokenizer,)

#Arguments used above not mentioned here - model, args, tokenized_train_ds, tokenized_val_ds, data_collator, tokenizer
#Below step train the pre-trained model
trainer.train()

然后我使用以下命令上传了这个 'trainer' 模型：-

trainer.save_model('./trainer_sm')

在不同的代码中，我现在想下载这个模型并用它来进行预测，有人可以建议怎么做吗？我尝试了以下命令来上传它：-

model_sm=AutoModelForQuestionAnswering.from_pretrained("./trainer_sm")

并用它通过这行代码进行预测：-

model_sm.predict(test_features)
AttributeError: 'XLMRobertaForQuestionAnswering' object has no attribute 'predict'

我还使用了 'use_auth_token=True' 作为 from_pretrained 的参数，但这也没有用。

此外，type(trainer) 是 'transformers.trainer.Trainer' ，而 type(model_sm) 是 transformers.models.xlm_roberta.modeling_xlm_roberta.XLMRobertaForQuestionAnswering

Answer 1

您保存的是训练师要调整的模型，您应该知道预测、训练、评估等是 transformers.trainer.Trainer 对象的实用程序，而不是 transformers.models.xlm_roberta.modeling_xlm_roberta.XLMRobertaForQuestionAnswering .根据所提到的，让事情继续进行的最简单方法是创建另一个训练器实例。

model_sm=AutoModelForQuestionAnswering.from_pretrained("./trainer_sm")
reloaded_trainer = Trainer(
                    model = model_sm,
                    tokenizer = tokenizer,
                    # other arguments if you have changed the defaults 
                    )
reloaded_trainer.predict(test_dataset)

如何下载 HuggingFace 模型 'transformers.trainer.Trainer'？

How to download a HuggingFace model 'transformers.trainer.Trainer'?

python

nlp

pre-trained-model

huggingface-transformers