Python:将 NLTK Stanford POS 标签映射到 WordNet POS 标签
Python: map NLTK Stanford POS tags to WordNet POS tags
我正在阅读句子列表并使用 NLTK 的 Stanford 词性标注器标记每个单词。我得到这样的输出:
wordnet_sense = []
for o in output:
a = st.tag(o)
wordnet_sense.append(a)
输出:[[(u'feel', u'VB'), (u'great', u'JJ')], [(u'good', u'JJ')]]
我想将这些词与它们的 POS 映射,以便它们在 WordNet 中被识别。
我试过这个:
sense = []
for i in wordnet_sense:
tmp = []
for tok, pos in i:
lower_pos = pos[0].lower()
if lower_pos in ['a', 'n', 'v', 'r', 's']:
res = wn.synsets(tok, lower_pos)
if len(res) > 0:
a = res[0]
else:
a = "[{0}, {1}]".format(tok, pos)
tmp.append(a)
sense.append(tmp)
print sense
输出:[Synset('feel.v.01'), '[great, JJ]'], ['[good, JJ]']]
所以feel
被识别为动词,但是great
和good
不被识别为形容词。我还检查了 great
和 good
是否真的属于 Wordnet,因为我认为如果它们不存在就不会被映射,但它们确实存在。有人可以帮忙吗?
这是来自 pywsd
的可爱函数:
from nltk.corpus import wordnet as wn
def penn2morphy(penntag, returnNone=False):
morphy_tag = {'NN':wn.NOUN, 'JJ':wn.ADJ,
'VB':wn.VERB, 'RB':wn.ADV}
try:
return morphy_tag[penntag[:2]]
except:
return None if returnNone else ''
def wordnet_pos_code(tag):
if tag.startswith('NN'):
return wn.NOUN
elif tag.startswith('VB'):
return wn.VERB
elif tag.startswith('JJ'):
return wn.ADJ
elif tag.startswith('RB'):
return wn.ADV
else:
return ''
print wordnet_pos_code('NN')`
除了提供的答案外,我发现这个也有效。
我正在阅读句子列表并使用 NLTK 的 Stanford 词性标注器标记每个单词。我得到这样的输出:
wordnet_sense = []
for o in output:
a = st.tag(o)
wordnet_sense.append(a)
输出:[[(u'feel', u'VB'), (u'great', u'JJ')], [(u'good', u'JJ')]]
我想将这些词与它们的 POS 映射,以便它们在 WordNet 中被识别。
我试过这个:
sense = []
for i in wordnet_sense:
tmp = []
for tok, pos in i:
lower_pos = pos[0].lower()
if lower_pos in ['a', 'n', 'v', 'r', 's']:
res = wn.synsets(tok, lower_pos)
if len(res) > 0:
a = res[0]
else:
a = "[{0}, {1}]".format(tok, pos)
tmp.append(a)
sense.append(tmp)
print sense
输出:[Synset('feel.v.01'), '[great, JJ]'], ['[good, JJ]']]
所以feel
被识别为动词,但是great
和good
不被识别为形容词。我还检查了 great
和 good
是否真的属于 Wordnet,因为我认为如果它们不存在就不会被映射,但它们确实存在。有人可以帮忙吗?
这是来自 pywsd
的可爱函数:
from nltk.corpus import wordnet as wn
def penn2morphy(penntag, returnNone=False):
morphy_tag = {'NN':wn.NOUN, 'JJ':wn.ADJ,
'VB':wn.VERB, 'RB':wn.ADV}
try:
return morphy_tag[penntag[:2]]
except:
return None if returnNone else ''
def wordnet_pos_code(tag):
if tag.startswith('NN'):
return wn.NOUN
elif tag.startswith('VB'):
return wn.VERB
elif tag.startswith('JJ'):
return wn.ADJ
elif tag.startswith('RB'):
return wn.ADV
else:
return ''
print wordnet_pos_code('NN')`
除了提供的答案外,我发现这个也有效。