如何查看huggingface模型训练后的变化？

Question

我训练了一个用于摘要的 BART 模型 (facebook-cnn)，并将摘要与预训练模型进行了比较

model_before_tuning_1 = AutoModelForSeq2SeqLM.from_pretrained(model_name)

trainer = Seq2SeqTrainer(
model=model,
args=training_args,
data_collator=data_collator,
train_dataset=train_data,
eval_dataset=validation_data,
tokenizer=tokenizer,
compute_metrics=compute_metrics,
)
trainer.train()

model() 和 model_before_tuning_1() 的摘要不同，但是当我比较模型配置时 and/or print(model) 它给出了两者完全相同的东西。

如何知道这次训练具体改变了哪些参数？

Answer 1

您可以比较 state_dict 个模型。 IE。 model.state_dict() 和 model_before_tuning_1.state_dict()。

State_dict 包含在训练过程中改变的可学习参数。有关详细信息，请参阅：https://pytorch.org/tutorials/recipes/recipes/what_is_state_dict.html

否则，打印模型或模型配置会得到相同的结果，因为架构在训练期间不会改变。