如何理解utf8编码文本中的文本语言?
How to understand text language in utf8 encoded text?
Redis 使用的是 utf8 代码,对于我的项目,我需要获取 utf8 编码文本的文本语言。
有什么方法可以提供有关文本语言的线索吗?
编辑:我的项目使用 NodeJs 编程语言。在 Redis 中,也许 lua 脚本有办法处理这个问题,但在 nodejs 中是否有任何包可以理解从 Redis 检索到的文本?
语言检测不是 Redis 的特定任务。我不知道您使用的是哪种语言,但在 Ruby 中,您可以使用 whatlanguage gem 来检测语言。我认为其他语言也有类似的库。
google 搜索 "language detect node"。这出现了 https://github.com/FGRibreau/node-language-detect and https://github.com/dachev/node-cld。
Redis 使用的是 utf8 代码,对于我的项目,我需要获取 utf8 编码文本的文本语言。
有什么方法可以提供有关文本语言的线索吗?
编辑:我的项目使用 NodeJs 编程语言。在 Redis 中,也许 lua 脚本有办法处理这个问题,但在 nodejs 中是否有任何包可以理解从 Redis 检索到的文本?
语言检测不是 Redis 的特定任务。我不知道您使用的是哪种语言,但在 Ruby 中,您可以使用 whatlanguage gem 来检测语言。我认为其他语言也有类似的库。
google 搜索 "language detect node"。这出现了 https://github.com/FGRibreau/node-language-detect and https://github.com/dachev/node-cld。