理解抱脸变形金刚

Understanding the Hugging face transformers

我是 Transformers 概念的新手,我正在学习一些教程并编写自己的代码来理解使用 transformer 模型的 Squad 2.0 数据集问答。在拥抱脸网站上,我遇到了 2 个不同的 links

我想知道这两个网站的区别。一个 link 是否只有一个预训练模型,另一个有一个预训练和微调的模型?

现在,如果我想使用一个 Albert 模型进行问答并使用我的 Squad 2.0 训练数据集对其进行训练并评估该模型,我应该进一步 link 中的哪一个?

我会这样表述: 第二个link基本描述"community-accepted models",即作为实现Huggingface类基础的模型,如BERT、RoBERTa等,以及一些接受度较高的相关模型或已经过同行评审。

这个列表的 bin 更长,而第一个 link 中的列表最近才直接在 Huggingface 网站上介绍,社区基本上可以上传被简单认为的任意检查点 "compatible" 与图书馆。通常,这些是由从业者或其他志愿者训练的额外模型,并且具有针对特定任务的微调。请注意,/pretrained_models.html 中的所有模型也包含在 /models 界面中。

如果您的用例非常狭窄,不妨检查一下是否已经有一些模型针对您的特定任务进行了微调。在最坏的情况下,您最终只会得到基本模型。