从数据框中获取同义词

Question

我有一个由 {question, answer} 组成的数据集，用于聊天机器人训练，我用 pandas 加载了它。我试图用 wordnet.synsets 为每个问题中的每个单词获取一袋同义词。我在这样做时遇到了一些困难，这是我尝试过的尝试。

import pandas  as pd`
import nltk.corpus
from nltk.corpus import stopwords, wordnet
from nltk.tokenize import word_tokenize
from nltk.stem import PorterStemmer, WordNetLemmatizer
df =pd.read_csv('healthtapQAs++.csv')
df['question']=df['question'].str.pad(width= i,side= 'left')
df['unpunctuated'] = df['question'].str.replace(r'[^\w\s]+', '')
df['tokenized'] = df['unpunctuated'].apply(word_tokenize) 
df['synonyms'] = df['tokenized'].apply(lambda x: [wordnet.synsets(y) for y 
in x])
df['synonyms_beta'] = df['synonyms'].apply( lambda x:[(y[0].name()) for y in 
x])`

这是我不断遇到的错误类型

>   df['synonyms_beta'] = df['synonyms'].apply( lambda x:[(y[0].name()) for y in x])

IndexError: list index out of range

Answer 1

你可以试试：

df['synonyms_beta'] = df['synonyms'].apply( lambda x:[(y[0].name()) if len(y) >0 else "no_syn" for y in x])

从数据框中获取同义词

Get the synonyms out of a dataframe

python

wordnet

dataframe

pandas

synset