'output_dir'在transformers.TrainingArguments中是什么意思?
What does 'output_dir' mean in transformers.TrainingArguments?
在 huggingface 站点文档中,它说 'The output directory where the model predictions and checkpoints will be written'。我不太明白这是什么意思。我必须为此创建任何文件吗?
Huggingface 模型的训练器可以节省很多东西。最重要的是:
使用的分词器的词汇表(作为 JSON 文件)
模型配置:一个 JSON 文件说明如何实例化模型对象,即架构和超参数
模型检查点:训练过程中保存的模型可训练参数
此外,它可以保存训练期间使用的指标值和训练状态(因此可以从同一个地方恢复训练)
所有这些都存储在output_dir
目录中的文件中。不必事先创建目录,但目录路径至少要存在。
在 huggingface 站点文档中,它说 'The output directory where the model predictions and checkpoints will be written'。我不太明白这是什么意思。我必须为此创建任何文件吗?
Huggingface 模型的训练器可以节省很多东西。最重要的是:
使用的分词器的词汇表(作为 JSON 文件)
模型配置:一个 JSON 文件说明如何实例化模型对象,即架构和超参数
模型检查点:训练过程中保存的模型可训练参数
此外,它可以保存训练期间使用的指标值和训练状态(因此可以从同一个地方恢复训练)
所有这些都存储在output_dir
目录中的文件中。不必事先创建目录,但目录路径至少要存在。