抱脸的变形金刚在哪里保存模型?

Where does hugging face's transformers save models?

运行 下面的代码下载了一个模型——有人知道它下载到哪个文件夹吗?

!pip install -q transformers
from transformers import pipeline
model = pipeline('fill-mask')

2021-03-11更新:缓存位置现已更改,位于~/.cache/huggingface/transformers,如@victorx 的回答中也有详细说明。


This post 应该对它有所了解(加上我自己的一些调查,因为它已经有点老了)。

如前所述,Linux 系统中的默认位置是 ~/.cache/torch/transformers/(目前我使用的是 transformers v 2.7,但不太可能随时更改。)。此目录中的神秘文件夹名称似乎对应于 Amazon S3 哈希。

另请注意,管道任务只是“重新路由”到其他模型。要了解您当前正在加载哪一个,请参阅 here。对于您的特定模型,pipeline(fill-mask) 实际上使用了 distillroberta-base 模型。

自变形金刚 4.3 版起,缓存位置已更改。

具体的地方定义在这段代码中 https://github.com/huggingface/transformers/blob/master/src/transformers/file_utils.py#L181-L187

在 Linux,它位于 ~/.cache/huggingface/transformers。

那里的文件名基本上是从中下载文件的原始 URL 的 SHA 哈希值。对应的json个文件可以帮你搞清楚原来的文件名是什么

在 windows 10 上,将 ~ 替换为 C:\Users\username 或在 cmd 中执行 cd /d "%HOMEDRIVE%%HOMEPATH%".

因此完整路径为:C:\Users\username\.cache\huggingface\transformers