'output_dir'在transformers.TrainingArguments中是什么意思?

What does 'output_dir' mean in transformers.TrainingArguments?

在 huggingface 站点文档中,它说 'The output directory where the model predictions and checkpoints will be written'。我不太明白这是什么意思。我必须为此创建任何文件吗?

Huggingface 模型的训练器可以节省很多东西。最重要的是:

  • 使用的分词器的词汇表(作为 JSON 文件)

  • 模型配置:一个 JSON 文件说明如何实例化模型对象,即架构和超参数

  • 模型检查点:训练过程中保存的模型可训练参数

  • 此外,它可以保存训练期间使用的指标值和训练状态(因此可以从同一个地方恢复训练)

所有这些都存储在output_dir 目录中的文件中。不必事先创建目录,但目录路径至少要存在。