在主内存中无法搜索到 'ь' 和 'ک'

Question

我在主存上有一个数据集。它包含一组波斯语句子。当我在记忆中搜索时，我得到了很好的结果，但是当我在我的关键字中输入 ی 或 ک 时，我没有得到搜索结果。

我的搜索功能：

更新：

def word_lookup(self,word,ayas):
    pos = []
    return_value = []


try:

    for aya in ayas:

        self.aya_list = aya[3].split()
        word_cnt = 0
        pos = []
        for aya_ in self.aya_list:
            if word in aya_:
                pos.append(word_cnt)
                return_value.append([aya[0],aya[1],aya[2],pos])
            word_cnt += 1
except Exception as e:
    print(e)
return return_value

调用函数

word_lookup("my unicode keyword",  a set of ayas)

我该如何解决？

我用python3.

Answer 1

你可以做以下补丁：

if re.match(r'\b\w*ی.*', word):
      word = re.sub(r'ی',r'ﻱ', word)

  if re.match(r'\b\w*ک.*', word):
      word = re.sub(r'ک',r'ﻙ', word)

在主内存中无法搜索到 'ь' 和 'ک'

'ی' and 'ک' are not searchable in main memory

unicode

utf

python-3.x

python-unicode

unicode-literals