为情感分类器提供预标记化输入

Question

我正在根据这个demo在python中使用情感分类器。

是否可以将预先标记化的文本作为预测器的输入？我希望能够使用我自己的自定义分词器。

Answer 1

有两种 AllenNLP 情感分析模型，它们都与其标记化紧密相关。基于 GLoVe 的需要与预训练的 GLoVe 嵌入相对应的标记，类似地，RoBERTa 需要与其预训练相对应的标记（单词片段）。将这些模型与不同的分词器一起使用并没有多大意义。