在哪里可以找到详尽的停用词列表?
Where to find an exhaustive list of stop words?
在哪里可以找到详尽的停用词列表?我的那个很短,似乎不适用于科学文本。
我正在创建词汇链以从科学论文中提取关键主题。问题是像 based
、regarding
等词也应该被视为停用词,因为它们没有多大意义。
很难找到详尽的停用词列表,因为给定的词在给定的域中可以被视为停用词,但在另一个域中却是重要的词。
您可以查看一些停用词列表:
http://blog.adlegant.com/how-to-install-nltk-corporastopwords/
您还可以轻松地添加到现有的停用词列表。例如。使用 NLTK 工具包中的那个:
from nltk.corpus import stopwords
然后添加您认为缺少的任何内容:
stopwords = stopwords.words('english')+["based", "regarding"]
描述了原始的 NLTK 列表 here。
在哪里可以找到详尽的停用词列表?我的那个很短,似乎不适用于科学文本。
我正在创建词汇链以从科学论文中提取关键主题。问题是像 based
、regarding
等词也应该被视为停用词,因为它们没有多大意义。
很难找到详尽的停用词列表,因为给定的词在给定的域中可以被视为停用词,但在另一个域中却是重要的词。
您可以查看一些停用词列表:
http://blog.adlegant.com/how-to-install-nltk-corporastopwords/
您还可以轻松地添加到现有的停用词列表。例如。使用 NLTK 工具包中的那个:
from nltk.corpus import stopwords
然后添加您认为缺少的任何内容:
stopwords = stopwords.words('english')+["based", "regarding"]
描述了原始的 NLTK 列表 here。