NLTK Brill 标注器拆分单词

Question

我正在使用 python 版本 3.4.1 和 NLTK 版本 3，我正在尝试使用他们的 Brill Tagger。

这里是 brill 标注器的训练代码：

import nltk
from nltk.tag.brill import *
import nltk.tag.brill_trainer as bt
from nltk.corpus import brown

Template._cleartemplates()
templates = fntbl37()
tagged_sentences = brown.tagged_sents(categories = 'news')
tagged_sentences = tagged_sentences[:]
tagger = nltk.tag.BigramTagger(tagged_sentences)
tagger = bt.BrillTaggerTrainer(tagger, templates, trace=3)
tagger = tagger.train(tagged_sentences, max_rules=250)
print(tagger.evaluate(brown.tagged_sents(categories='fiction')[:]))
print(tagger.tag("Hi I am Harry Potter."))

最后一个命令的输出是：

[('H', 'NN'), ('i', 'NN'), (' ', 'NN'), ('I', 'NN'), (' ', 'NN'), ('a', 'AT'), ('m', 'NN'), (' ', 'NN'), ('H', 'NN'), ('a', 'AT'), ('r', 'NN'), ('r', 'NN'), ('y', 'NN'), (' ', 'NN'), ('P', 'NN'), ('o', 'NN'), ('t', 'NN'), ('t', 'NN'), ('e', 'NN'), ('r', 'NN'), ('.', '.')]

如何阻止它将单词拆分为字母并标记字母而不是单词？

Answer 1

Tag tag() 函数需要一个标记列表作为输入。因为你给它一个字符串作为输入，所以这个字符串被解释为一个列表。把一个字符串变成一个列表给你一个字符列表：

>>> list("abc")
['a', 'b', 'c']

您需要做的就是在标记之前将您的字符串转换为标记列表。例如使用 nltk 或简单地通过空格分割：

>>> import nltk
>>> nltk.word_tokenize("Hi I am Harry Potter.")
['Hi', 'I', 'am', 'Harry', 'Potter', '.']
>>> "Hi I am Harry Potter.".split(' ')
['Hi', 'I', 'am', 'Harry', 'Potter.']

在标记中添加标记化会产生以下结果：

print(tagger.tag(nltk.word_tokenize("Hi I am Harry Potter.")))
[('Hi', 'NN'), ('I', 'PPSS'), ('am', 'VB'), ('Harry', 'NN'), ('Potter', 'NN'), ('.', '.')]

NLTK Brill 标注器拆分单词

NLTK Brill Tagger Splitting Words

python

nltk

pos-tagger