如何为 TFRobertaSequenceClassification 指定目标数 类？

Question

我手头有一个文本分类任务，我想使用 transformers 库中的 roberta 预训练模型。

这是文档：TFRobertaForSequenceClassification

根据我们必须使用的训练文档，

from transformers import RobertaTokenizer, TFRobertaForSequenceClassification

tokenizer = RobertaTokenizer.from_pretrained('roberta-base')
model = TFRobertaForSequenceClassification.from_pretrained('roberta-base')

model.compile('adam', loss='sparse_categorical_crossentropy')
model.fit(x, y)

那么我应该在哪里指定序列分类的目标标签数量？

Answer 1

您可以使用 num_labels 参数。

model = TFRobertaForSequenceClassification.from_pretrained('roberta-base', num_labels = 5)

参考：https://huggingface.co/transformers/main_classes/configuration.html