（生物医学）词干的所有可能词形补全

Question

我熟悉 R 中 tm 包的词干提取和补全。

我正在尝试想出一种快速而肮脏的方法来查找给定单词的所有变体（在某些语料库中。）例如，我想获得 "leukocytes" 和 "leuckocytic" 如果我的输入是 "leukocyte".

如果我现在必须这样做，我可能会选择类似的东西：

library(tm)
library(RWeka)
dictionary <- unique(unlist(lapply(crude, words)))
grep(pattern = LovinsStemmer("company"), 
    ignore.case = T, x = dictionary, value = T)

我用的是Lovins，因为Snowball的搬运工好像攻击性不够

我愿意接受有关其他词干分析器、脚本语言（Python？）或完全不同方法的建议。

Answer 1

此解决方案需要预处理您的语料库。但是一旦完成，它就是一个非常快速的字典查找。

from collections import defaultdict
from stemming.porter2 import stem

with open('/usr/share/dict/words') as f:
    words = f.read().splitlines()

stems = defaultdict(list)

for word in words:
    word_stem = stem(word)
    stems[word_stem].append(word)

if __name__ == '__main__':
    word = 'leukocyte'
    word_stem = stem(word)
    print(stems[word_stem])

对于 /usr/share/dict/words 语料库，这会产生结果

['leukocyte', "leukocyte's", 'leukocytes']

它使用可以与

一起安装的stemming模块

pip install stemming

（生物医学）词干的所有可能词形补全

all possible wordform completions of a (biomedical) word's stem

python

nlp

r

bioinformatics

text-mining