使用 Python 从文本中删除非英语单词

Question

我正在 python 上进行数据清理练习，我正在清理的文本包含我想删除的意大利语单词。我一直在网上搜索是否可以使用像 nltk 这样的工具包在 Python 上执行此操作。

例如给定一些文本：

"Io andiamo to the beach with my amico."

我想留下：

"to the beach with my"

有谁知道如何做到这一点？任何帮助将非常感激。

Answer 1

您可以使用来自 NLTK 的 words 语料库：

import nltk
words = set(nltk.corpus.words.words())

sent = "Io andiamo to the beach with my amico."
" ".join(w for w in nltk.wordpunct_tokenize(sent) \
         if w.lower() in words or not w.isalpha())
# 'Io to the beach with my'

不幸的是，Io恰好是一个英文单词。一般来说，很难判断一个词是不是英文。

Answer 2

在 MAC OSX 中，如果您尝试此代码，它仍然会显示异常。所以一定要手动下载单词语料库。一旦你 import 你的 nltk 图书馆，你可能会像 mac os 它不会自动下载语料库。所以你必须下载它，否则你将面临异常。

import nltk 
nltk.download('words')
words = set(nltk.corpus.words.words())

现在您可以执行与上一个人指示的相同的执行。

sent = "Io andiamo to the beach with my amico."
sent = " ".join(w for w in nltk.wordpunct_tokenize(sent) if w.lower() in words or not w.isalpha())

根据 NLTK documentation it doesn't say so. But I got a issue over github 并以这种方式解决并且它确实有效。如果你不把 word 参数放在那里，你 OSX 可以注销并一次又一次地发生。

Answer 3

from nltk.stem.snowball import SnowballStemmer

snow_stemmer = SnowballStemmer(language='english')
  
#list of words
words = ['cared', 'caring', 'careful']
  
#stem of each word
stem_words = []
for w in words:
    x = snow_stemmer.stem(w)
    stem_words.append(x)
      
#stemming results
for w1,s1 in zip(words,stem_words):
    print(w1+' ----> '+s1)

使用 Python 从文本中删除非英语单词

Removing non-English words from text using Python

python

data-science

data-cleaning