如何更改 huggingface 变形金刚的默认缓存目录

Question

默认缓存目录磁盘容量不足，我需要更改默认缓存目录的配置。

Answer 1

您可以在每次使用 .from_pretrained by the setting the parameter cache_dir. You can define a default location by exporting an environment variable TRANSFORMERS_CACHE 加载模型时指定缓存目录，每次使用之前（即在导入它之前！）库）。

python 示例：

import os
os.environ['TRANSFORMERS_CACHE'] = '/blabla/cache/'

bash 示例：

export TRANSFORMERS_CACHE=/blabla/cache/

Answer 2

如@cronoik 所述，除了在终端中修改缓存路径，您还可以直接在代码中修改缓存目录。如果您在 HuggingFace 上查找有任何困难，我将只为您提供实际代码：

tokenizer = AutoTokenizer.from_pretrained("roberta-base", cache_dir="new_cache_dir/")

model = AutoModelForMaskedLM.from_pretrained("roberta-base", cache_dir="new_cache_dir/")

如何更改 huggingface 变形金刚的默认缓存目录

How to change huggingface transformers default cache directory

huggingface-transformers