如何从预训练模型加载保存的分词器
How to load the saved tokenizer from pretrained model
我使用 huggingface transformer 在 Pytorch 中微调了一个预训练的 BERT 模型。所有 training/validation 都在云中的 GPU 上完成。
训练结束时，我将模型和分词器保存如下：
best_model.save_pretrained('./saved_model/')
tokenizer.save_pretrained('./saved_model/')
这会在 saved_model 目录中创建以下文件：
config.json
added_token.json
special_tokens_map.json
tokenizer_config.json
vocab.txt
pytorch_model.bin
现在，我将 saved_model 目录下载到我的计算机中，并希望加载模型和分词器。我可以像下面这样加载模型
model = torch.load('./saved_model/pytorch_model.bin',map_location=torch.device('cpu'))
但是如何加载分词器？我是 pytorch 的新手，不确定，因为有多个文件。可能我没有以正确的方式保存模型？
如果你看一下语法，它是你应该传递的预训练模型的目录。因此，加载标记器的正确方法必须是：
tokenizer = BertTokenizer.from_pretrained(<Path to the directory containing pretrained model/tokenizer>)
你的情况：
tokenizer = BertTokenizer.from_pretrained('./saved_model/')
./saved_model 这是您将保存预训练模型和分词器的目录。
我使用 huggingface transformer 在 Pytorch 中微调了一个预训练的 BERT 模型。所有 training/validation 都在云中的 GPU 上完成。
训练结束时，我将模型和分词器保存如下：
best_model.save_pretrained('./saved_model/')
tokenizer.save_pretrained('./saved_model/')
这会在 saved_model 目录中创建以下文件：
config.json
added_token.json
special_tokens_map.json
tokenizer_config.json
vocab.txt
pytorch_model.bin
现在，我将 saved_model 目录下载到我的计算机中，并希望加载模型和分词器。我可以像下面这样加载模型
model = torch.load('./saved_model/pytorch_model.bin',map_location=torch.device('cpu'))
但是如何加载分词器？我是 pytorch 的新手，不确定，因为有多个文件。可能我没有以正确的方式保存模型？
如果你看一下语法，它是你应该传递的预训练模型的目录。因此，加载标记器的正确方法必须是：
tokenizer = BertTokenizer.from_pretrained(<Path to the directory containing pretrained model/tokenizer>)
你的情况：
tokenizer = BertTokenizer.from_pretrained('./saved_model/')
./saved_model 这是您将保存预训练模型和分词器的目录。