为来自 Python 的 unicode 值设置 codec/searching Elasticsearch

Question

这个问题可能是因为我对 ELK、Python 和 Unicode 不熟悉。

我有一个包含 logstash 消化日志的索引，包括一个包含主机名的字段 'host_req'。使用 Elasticsearch-py，我将该主机名从记录中提取出来，并使用它在另一个索引中进行搜索。但是，如果主机名包含多字节字符，它将失败并出现 UnicodeDecodeError。当我使用 'curl -XGET' 从命令行输入时，完全相同的查询工作正常。 unicode 字符是带有分音符（两个点）的小写 'a'。 UTF-8值是C3 A4，unicode码位好像是00E4（语言是瑞典语）

这些 curl 命令在命令行中工作得很好：

 curl -XGET 'http://localhost:9200/logstash-2015.01.30/logs/_search?pretty=1' -d ' { "query" : {"match" :{"req_host" : "www.utkl\u00E4dningskl\u00E4derna.se" }}}'
 curl -XGET 'http://localhost:9200/logstash-2015.01.30/logs/_search?pretty=1' -d ' { "query" : {"match" :{"req_host" : "www.utklädningskläderna.se" }}}'

他们找到并return记录

（第二行显示主机名如何出现在我从中提取的日志中，在两个地方显示带有分音符的小写 'a'）

我写了一个非常短的 Python 脚本来显示问题：它使用硬连线查询，打印它们及其类型，然后尝试使用它们在搜索中。

 #!/usr/bin/python
 # -*- coding: utf-8 -*-

 import json
 import elasticsearch

 es = elasticsearch.Elasticsearch()

 if __name__=="__main__":
   #uq = u'{ "query": { "match": { "req_host": "www.utklädningskläderna.se" }}}'           # raw utf-8 characters. does not work
   #uq = u'{ "query": { "match": { "req_host": "www.utkl\u00E4dningskl\u00E4derna.se" }}}' # quoted unicode characters. does not work
   #uq = u'{ "query": { "match": { "req_host": "www.utkl\uC3A4dningskl\uC3A4derna.se" }}}' # quoted utf-8 characters. does not work
   uq = u'{ "query": { "match": { "req_host": "www.facebook.com" }}}'                     # non-unicode. works fine
   print "uq", type(uq), uq
   result = es.search(index="logstash-2015.01.30",doc_type="logs",timeout=1000,body=uq);
   if result["hits"]["total"] == 0:
     print "nothing found"
   else:
     print "found some"

如果我运行如图所示，使用 'facebook' 查询，没问题 - 输出是：

$python testutf8b.py
uq <type 'unicode'> { "query": { "match": { "req_host": "www.facebook.com" }}}
found some

请注意，查询字符串 'uq' 是 unicode。

但是如果我使用其他三个包含 Unicode 字符的字符串，它就会崩溃。例如，在第二行，我得到：

$python testutf8b.py
uq <type 'unicode'> { "query": { "match": { "req_host": "www.utklädningskläderna.se" }}}
Traceback (most recent call last):
   File "testutf8b.py", line 15, in <module>
    result = es.search(index="logstash-2015.01.30",doc_type="logs",timeout=1000,body=uq);
  File "build/bdist.linux-x86_64/egg/elasticsearch/client/utils.py", line 68, in _wrapped
  File "build/bdist.linux-x86_64/egg/elasticsearch/client/__init__.py", line 497, in search
  File "build/bdist.linux-x86_64/egg/elasticsearch/transport.py", line 307, in perform_request
  File "build/bdist.linux-x86_64/egg/elasticsearch/connection/http_urllib3.py", line 82, in perform_request
elasticsearch.exceptions.ConnectionError: ConnectionError('ascii' codec can't decode byte 0xc3 in position 45: ordinal not in range(128)) caused by: UnicodeDecodeError('ascii' codec can't decode byte 0xc3 in position 45: ordinal not in range(128))
$

同样，请注意查询字符串是一个 unicode 字符串（是的，源代码行是带有 \u00E4 个字符的那一行）。

我真的很想解决这个问题。我尝试了 uq = uq.encode("utf=8") 和 uq = uq.decode("utf=8") 的各种组合，但似乎没有帮助。我开始怀疑 elasticsearch-py 库是否有问题。

谢谢！

分

PS：这是在Centos 7下，使用ES 1.5.0。日志在稍微老一点的版本下被消化到ES中，使用logstash-1.4.2

Answer 1

基本上，您不需要将 body 作为字符串传递。使用原生 python 数据结构。或者即时转换它们。试一试，请:

>>> import elasticsearch
>>> es = elasticsearch.Elasticsearch()
>>> es.index(index='unicode-index', body={'host': u'www.utklädningskläderna.se'}, doc_type='log')

{u'_id': u'AUyGJuFMy0qdfghJ6KwJ',
 u'_index': u'unicode-index',
 u'_type': u'log',
 u'_version': 1,
 u'created': True}

>>> es.search(index='unicode-index', body={}, doc_type='log')

{u'_shards': {u'failed': 0, u'successful': 5, u'total': 5},
 u'hits': {u'hits': [{u'_id': u'AUyBTz5CsiBSSvubLioQ',
    u'_index': u'unicode-index',
    u'_score': 1.0,
    u'_source': {u'host': u'www.utkl\xe4dningskl\xe4derna.se'},
    u'_type': u'log'}],
  u'max_score': 1.0,
  u'total': 1},
 u'timed_out': False,
 u'took': 5}

>>> es.search(index='unicode-index', body={'query': {'match': {'host': u'www.utklädningskläderna.se'}}}, doc_type='log')

{u'_shards': {u'failed': 0, u'successful': 5, u'total': 5},
 u'hits': {u'hits': [{u'_id': u'AUyBTz5CsiBSSvubLioQ',
    u'_index': u'unicode-index',
    u'_score': 0.30685282,
    u'_source': {u'host': u'www.utkl\xe4dningskl\xe4derna.se'},
    u'_type': u'log'}],
  u'max_score': 0.30685282,
  u'total': 1},
 u'timed_out': False,
 u'took': 122}

>>> import json

>>> body={'query': {'match': {'host': u'www.utklädningskläderna.se'}}}

>>> es.search(index='unicode-index', body=body, doc_type='log')

{u'_shards': {u'failed': 0, u'successful': 5, u'total': 5},
 u'hits': {u'hits': [{u'_id': u'AUyBTz5CsiBSSvubLioQ',
    u'_index': u'unicode-index',
    u'_score': 0.30685282,
    u'_source': {u'host': u'www.utkl\xe4dningskl\xe4derna.se'},
    u'_type': u'log'}],
  u'max_score': 0.30685282,
  u'total': 1},
 u'timed_out': False,
 u'took': 4}

>>> es.search(index='unicode-index', body=json.dumps(body), doc_type='log')

{u'_shards': {u'failed': 0, u'successful': 5, u'total': 5},
 u'hits': {u'hits': [{u'_id': u'AUyBTz5CsiBSSvubLioQ',
    u'_index': u'unicode-index',
    u'_score': 0.30685282,
    u'_source': {u'host': u'www.utkl\xe4dningskl\xe4derna.se'},
    u'_type': u'log'}],
  u'max_score': 0.30685282,
  u'total': 1},
 u'timed_out': False,
 u'took': 5}

>>> json.dumps(body)
'{"query": {"match": {"host": "www.utkl\u00e4dningskl\u00e4derna.se"}}}'

为来自 Python 的 unicode 值设置 codec/searching Elasticsearch

Setting codec/searching Elasticsearch for unicode values from Python

elasticsearch