Python: difflib.get_close_matches 比较修改后的文本但返回原始文本

Question

我从文本中提取了一个单词列表，但在文本预处理过程中我将所有内容都小写以便于比较。

我的问题是如何使列表中提取的单词与原始文本中的单词完全相同？

我尝试先对原文进行分词，然后在分词列表中找到与我从文本中提取的单词列表最接近的匹配项。我使用以下各项来查找最接近的匹配项：

nltk.edit_distance
difflib.get_close_matches

但它们都没有达到我想要的效果。他们以某种方式提取相似的词，但与原始文本中出现的词不完全相同。我认为问题在于这些方法对小写和大写单词的处理方式不同。

Words extracted can be unigram, bigram up to 5-gram.

示例：

我从文本[rfid alert]中提取了以下二元组，但在原文中它是这样的[RFID alert] .

使用后

difflib.get_close_matches('rfid alert', original_text_unigram_tokens_list)

它的输出是 [profile Caller] 而不是 [RFID alert]。那是因为 python 区分大小写。我认为它发现 original_text_unigram_tokens_list 中与 [rfid alert] 中不同字符最少的二元组是 [profile Caller]所以它 returned [profile Caller].

因此我的问题是：是否有任何现成的方法或任何解决方法我可以对 return ngram 的原始形式完全按照它在文本中出现的方式进行？例如，我想得到 [RFID alert] 而不是上面示例中的 [profile Caller]，等等。

感谢任何帮助。提前谢谢你。

Answer 1

与 this question you can take and modify the source code of difflib.get_close_matches 类似，并根据您的需要进行调整。

我所做的修改：

cutoff 默认值提高到 0.99（理论上它甚至可以是 1.0 但为了确保数值错误不会影响结果我传递了一个较小的数字）。
s.set_seq1(x.lower()) - 以便在小写字符串之间进行比较（但返回原始 x）

修改函数的完整代码：

from difflib import SequenceMatcher, _nlargest  # necessary imports of functions used by modified get_close_matches

def get_close_matches_lower(word, possibilities, n=3, cutoff=0.99):
    if not n >  0:
        raise ValueError("n must be > 0: %r" % (n,))
    if not 0.0 <= cutoff <= 1.0:
        raise ValueError("cutoff must be in [0.0, 1.0]: %r" % (cutoff,))
    result = []
    s = SequenceMatcher()
    s.set_seq2(word)
    for x in possibilities:
        s.set_seq1(x.lower())  # lower-case for comparison
        if s.real_quick_ratio() >= cutoff and \
           s.quick_ratio() >= cutoff and \
           s.ratio() >= cutoff:
            result.append((s.ratio(), x))

    # Move the best scorers to head of list
    result = _nlargest(n, result)
    # Strip scores for the best n matches
    return [x for score, x in result]

以及您给出的示例的结果：

print(get_close_matches_lower('rfid alert', ['profile Caller','RFID alert']))

正在打印：

['RFID alert']

Python: difflib.get_close_matches 比较修改后的文本但返回原始文本

Python: difflib.get_close_matches comparing modified text but returning original

python

nlp

data-analysis

difflib

data-cleaning