使用 open refine 删除停用词

Question

按照这个例子https://github.com/OpenRefine/OpenRefine/wiki/Recipes#removeextract-words-contained-in-a-file

我正在尝试使用 open refine 删除文件中列出的停用词

示例：您想从文本中删除桌面上某个文件中包含的所有停用词。在这种情况下，使用 Jython。

with open(r"C:\Users\ettor\Desktop\stopwords.txt",'r') as f :
    stopwords = [name.rstrip() for name in f]

return " ".join([x for x in value.split(' ') if x not in stopwords])

不幸遇到内部错误

Answer 1

是的，正如您在此截屏视频中所见，此脚本可以正常工作。

我稍微改了一下，忽略了字母大小写。

with open(r"~\Desktop\stopwords.txt",'r') as f :
    stopwords = [name.rstrip().lower() for name in f]

return " ".join([x for x in value.split(' ') if x.lower() not in stopwords])

在 Open Refine 的 Python 脚本中，"internal error" 通常表示语法错误，例如遗忘的括号或错误的缩进。

使用 open refine 删除停用词

Remove stopwords using open refine

jython

openrefine