单词同义词/反义词检测
word synonym / antonym detection
我需要创建一个分类器,它接受 2 个单词并确定它们是同义词还是反义词。我尝试了 nltk 的 antsyn-net,但它没有足够的数据。
示例:
- 资本主义<-[反义词]->社会主义
- 资本主义=[同义词]=自由市场
- 上帝<-[反义词]->无神论
- 政治正确<-[反义词]->言论自由
- 广告=[同义词]=营销
我正在考虑采用 BERT 模型,因为可能会嵌入一些关系并在我找到的数据集上进行迁移学习。
我建议采用以下管道:
- 从现有的同义词和反义词数据集(例如从 Wordnet 词库中获取)构建训练集。您需要仔细制作负面示例。
- 采用 BERT 等预训练模型,fine-tune 将其用于您的任务。如果你选择 BERT,那么你使用你的 words/prhases 而不是句子的地方应该是
BertForNextSentencePrediction
,如果它们是同义词则预测 1,如果不是则预测 0;反义词也一样。
我需要创建一个分类器,它接受 2 个单词并确定它们是同义词还是反义词。我尝试了 nltk 的 antsyn-net,但它没有足够的数据。
示例:
- 资本主义<-[反义词]->社会主义
- 资本主义=[同义词]=自由市场
- 上帝<-[反义词]->无神论
- 政治正确<-[反义词]->言论自由
- 广告=[同义词]=营销
我正在考虑采用 BERT 模型,因为可能会嵌入一些关系并在我找到的数据集上进行迁移学习。
我建议采用以下管道:
- 从现有的同义词和反义词数据集(例如从 Wordnet 词库中获取)构建训练集。您需要仔细制作负面示例。
- 采用 BERT 等预训练模型,fine-tune 将其用于您的任务。如果你选择 BERT,那么你使用你的 words/prhases 而不是句子的地方应该是
BertForNextSentencePrediction
,如果它们是同义词则预测 1,如果不是则预测 0;反义词也一样。