用于 scikit-learn 文本矢量器的正则表达式/"token_pattern"
Regex / "token_pattern" for scikit-learn text Vectorizer
我正在使用 sklearn 对 tf-idf Vectorizer 对象进行一些 NLP 向量化。这个对象可以用关键字构造，"token_pattern".
我想避免标签 (#foobar)、数字（和以数字开头的字符串，即 10mg）、以 'RT'（转推）开头的任何行，或行 "Deleted tweet".
另外，我想忽略unicode。
我想保留 URL（不是 'http://'）并将它们标记为可能存在于其中的任何单词（仅限 [A-Za-z]+） .
我对 Regex 有一些经验，但直到现在才需要更复杂的模式。
下面是我对所有内容的尝试...这显然不是最好的调查方法，但它确实总结了我目前对 Regex 规则的看法。
注意：skearn 文档 here 显示默认 "token_pattern" 在字符串上使用 unicode 标志，我不明白为什么......也许是单独的问题。
pat2 = r"(?im)([A-Z]+)(?<!^@)([A-Z]+)(?<!^#)([A-Z]+)(?<!^(RT))([A-Z]+)(?<!^Deleted)(?<=^(http://))([A-Z]+)"
我的分解：
(?im) #Are flags for 'multi-line' and 'case insensitive'
([A-Z]+)(?<!^@) #A negative look back, match [A-Z]+ only if not preceded by 'starts with @'.
(?<=^(http://))([A-Z]+) #A positive look forward, match [A-Z]+ only if 'starts with "http://"' is present.
我觉得这不是一个优雅的解决方案，即使它经过调整可以工作...
TIA
更新：
原始数据示例：
如果有帮助的话，我正在使用 pandas 数据框来加载数据。我是 pandas 的新手，可能缺少一些基于 pandas 的解决方案。
从这个原始数据中，我只想要从文本和 URL 中提取的单词。
这个例子糟透了……请进一步评论以帮助我更好地定义它……谢谢！
原始：
http://foxsportswisconsin.ning.com/profiles/blogs/simvastatin-20-mg-pas-cher-sur-internet-acheter-du-simvastatin-20
代币化：
[foxsportswisconsin, ning, com, profiles, blogs, simvastatin, mg, pas, cher, sur, internet, acheter, du, simvastatin]
tl;dr：如果您曾经写过 regex 超过 20 个字符，那么您就做错了什么，但这可能是一个可以接受的 hack。如果你写 regex 超过 50 个字符，你需要立即停止。
首先让我说，这绝不应该由正则表达式解决形状或形式。
您描述的大部分步骤应该在预处理或 post 处理中处理。你不应该试图想出一个 regex 来过滤以 Deleted tweet 或 RT 开头的东西，你应该在预处理中忽略这些行。
忽略unicode？那么可能值得离开互联网，因为互联网上的所有内容以及记事本之外的所有内容都是 unicode。如果你想删除所有不能用 ascii 表示的 unicode 字符（我假设你的意思是什么？），那么编码步骤就是解决这个问题的地方：
<string>.encode('ascii', 'ignore')
就忽略 http 而言，您应该将 http 设置为停用词。这可以作为另一个参数传递给您正在使用的矢量化器。
完成后，您使用的令牌正则表达式（可能仍然不是正则表达式的情况，但这是 sklearn 提供的接口）实际上非常简单：
'\b[a-zA-Z]\w+\b'
此处要实施的唯一更改是忽略上面提到的 10mg 等数字。
值得注意的是，这种大量的令牌删除将对您尝试进行的几乎所有分析产生负面影响。如果你有一个体面的语料库，你不应该删除任何标记，如果它很小删除停用词并使用词干分析器或词形还原器是一个好方法，但这种删除标记的做法很糟糕，会导致过度拟合.
我正在使用 sklearn 对 tf-idf Vectorizer 对象进行一些 NLP 向量化。这个对象可以用关键字构造，"token_pattern".
我想避免标签 (#foobar)、数字（和以数字开头的字符串，即 10mg）、以 'RT'（转推）开头的任何行，或行 "Deleted tweet".
另外，我想忽略unicode。
我想保留 URL（不是 'http://'）并将它们标记为可能存在于其中的任何单词（仅限 [A-Za-z]+） .
我对 Regex 有一些经验，但直到现在才需要更复杂的模式。
下面是我对所有内容的尝试...这显然不是最好的调查方法，但它确实总结了我目前对 Regex 规则的看法。
注意：skearn 文档 here 显示默认 "token_pattern" 在字符串上使用 unicode 标志，我不明白为什么......也许是单独的问题。
pat2 = r"(?im)([A-Z]+)(?<!^@)([A-Z]+)(?<!^#)([A-Z]+)(?<!^(RT))([A-Z]+)(?<!^Deleted)(?<=^(http://))([A-Z]+)"
我的分解：
(?im) #Are flags for 'multi-line' and 'case insensitive'
([A-Z]+)(?<!^@) #A negative look back, match [A-Z]+ only if not preceded by 'starts with @'.
(?<=^(http://))([A-Z]+) #A positive look forward, match [A-Z]+ only if 'starts with "http://"' is present.
我觉得这不是一个优雅的解决方案，即使它经过调整可以工作...
TIA
更新： 原始数据示例：
如果有帮助的话，我正在使用 pandas 数据框来加载数据。我是 pandas 的新手，可能缺少一些基于 pandas 的解决方案。
从这个原始数据中，我只想要从文本和 URL 中提取的单词。 这个例子糟透了……请进一步评论以帮助我更好地定义它……谢谢！
原始：
http://foxsportswisconsin.ning.com/profiles/blogs/simvastatin-20-mg-pas-cher-sur-internet-acheter-du-simvastatin-20
代币化：
[foxsportswisconsin, ning, com, profiles, blogs, simvastatin, mg, pas, cher, sur, internet, acheter, du, simvastatin]
tl;dr：如果您曾经写过 regex 超过 20 个字符，那么您就做错了什么，但这可能是一个可以接受的 hack。如果你写 regex 超过 50 个字符，你需要立即停止。
首先让我说，这绝不应该由正则表达式解决形状或形式。
您描述的大部分步骤应该在预处理或 post 处理中处理。你不应该试图想出一个 regex 来过滤以 Deleted tweet 或 RT 开头的东西，你应该在预处理中忽略这些行。
忽略unicode？那么可能值得离开互联网，因为互联网上的所有内容以及记事本之外的所有内容都是 unicode。如果你想删除所有不能用 ascii 表示的 unicode 字符（我假设你的意思是什么？），那么编码步骤就是解决这个问题的地方：
<string>.encode('ascii', 'ignore')
就忽略 http 而言，您应该将 http 设置为停用词。这可以作为另一个参数传递给您正在使用的矢量化器。
完成后，您使用的令牌正则表达式（可能仍然不是正则表达式的情况，但这是 sklearn 提供的接口）实际上非常简单：
'\b[a-zA-Z]\w+\b'
此处要实施的唯一更改是忽略上面提到的 10mg 等数字。
值得注意的是，这种大量的令牌删除将对您尝试进行的几乎所有分析产生负面影响。如果你有一个体面的语料库，你不应该删除任何标记，如果它很小删除停用词并使用词干分析器或词形还原器是一个好方法，但这种删除标记的做法很糟糕，会导致过度拟合.