检测文本是否为非英语

Question

检测文本（特别是 Instagram 评论）是否为非英语的最准确方法是什么？我乐于使用任何高级语言，如Python、PHP等

$ sudo pip2 install guess_language
>>> from guess_language import guessLanguage
>>> guessLanguage('la vita e bella')
'UNKNOWN'
>>> guessLanguage('today is a good day')
'UNKNOWN'
>>> guessLanguage('ボウリング・フォー・コロンバイン(字幕版)')
'ja'

并与

$ sudo apt-get install php5.6-mbstring

      if(strlen($comment->text) == mb_strlen($comment->text, 'utf-8')) {
         echo '- '.$comment->text."\n";
    }

我得到很多非英文的英文字符：示例：

- Khoda be khanevadehashon sabr bede tahamol konan
- Akhey...
- Eshghi
- K
- :-)
- Ey khodaa
- ...
- @samaneaghazamani1990 vaaaaay khoda chejoori payam dadan?
- :(
- Elahiiiii
- May Allah please with them and grant higher rank of jannah salutes to the  bravehearts @taraneh_alidoosti @fanpagemostafazamani
- Elaaaahiii
- Roohetoon shad.
- :'(
- Roheshon shad!! Yadeshon gerami!!
- .:'(
- :-(
- Oooo
- Awli

我不想使用 Google 翻译之类的东西，因为我要处理大量数据。

更新：

$ sudo pip2 install langdetect
>>> from langdetect import detect
>>> detect("War doesn't show who's right, just who's left.")
'en'
>>> detect("today is a good day.")
'so'
>>> detect("la vita e bella!")
'it'
>>> detect("khoobi? khoshi?")
'so'
>>> detect("wow")
'pl'
>>> detect("what a day")
'en'
>>> detect("yay!")
'so'

'so'是指未知数吗？我原以为 today is a good day 会被视为 en!

Answer 1

我建议你使用拼写检查器。如果单词不属于某种语言，它将 return 拼写不正确。用它来确定一个单词是否是英语。这是一个开源拼写检查器：http://aspell.net/

每个 OS 都内置了拼写检查功能。您也可以使用它们。

Answer 2

您可以使用 ployglot 包的语言检测功能。

>>> from polyglot.detect import Detector
>>> print(Detector('today is a good day.').language)
name: English     code: en       confidence:  95.0 read bytes:  1792

检测文本是否为非英语

Detecting if text is non-English

php

python

text

nlp

language-detection