仅过滤英文推文时出错

Question

我正在提取仅用英语编写的推文，并且我使用了以下过滤器

stream.filter(stall_warnings=True, track=['#brain'], languages=['en'])

但不幸的是，这个过滤器 returns 一条包含英语和其他语言的推文

请看推文here

如何提取只用英语写的推文？

注意：如链接错误，请见谅。

Answer 1

推文由 Twitter 以一种或另一种语言分类。他们的分类并不总是正确的。如果推文使用多种语言，他们只会将其分配给其中一种语言。

因此，您需要在您的应用中根据字典或使用某些语言检测库来过滤它们，以 100% 确保您收到的推文仅使用英语。

来源：https://blog.twitter.com/2013/introducing-new-metadata-for-tweets