elasticsearch 嵌套过滤器 return 空结果
elasticsearch nested filter return empty result
我有这个映射:
"post": {
"model": "Post",
"properties": {
"id": {
"type": "integer"
},
"title": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 5
},
"description": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 4
},
"condition": {
"type": "integer",
"index": "not_analyzed"
},
"categories": {
"type": "string",
"index": "not_analyzed"
},
"seller": {
"type": "nested",
"properties": {
"id": {
"type": "integer",
"index": "not_analyzed"
},
"username": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 1
},
"firstName": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 3
},
"lastName": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 2
}
}
},
"marketPrice": {
"type": "float",
"index": "not_analyzed"
},
"currentPrice": {
"type": "float",
"index": "not_analyzed"
},
"discount": {
"type": "float",
"index": "not_analyzed"
},
"commentsCount": {
"type": "integer",
"index": "not_analyzed"
},
"likesCount": {
"type": "integer",
"index": "not_analyzed"
},
"featured": {
"type": "boolean",
"index": "not_analyzed"
},
"bumped": {
"type": "boolean",
"index": "not_analyzed"
},
"created": {
"type": "date",
"index": "not_analyzed"
},
"modified": {
"type": "date",
"index": "not_analyzed"
}
}
}
这个查询:
GET /develop/_search?search_type=dfs_query_then_fetch
{
"query": {
"filtered" : {
"query": {
"bool": {
"must": [
{ "match": { "title": "post" }}
]
}
},
"filter": {
"bool": {
"must": [
{"term": {
"featured": 0
}},
{
"nested": {
"path": "seller",
"filter": {
"bool": {
"must": [
{ "term": { "seller.firstName": "Test 3" } }
]
}
},
"_cache" : true
}}
]
}
}
}
},
"sort": [
{
"_score":{
"order": "desc"
}
},{
"created": {
"order": "desc"
}
}
],
"track_scores": true
}
我等待 25 个结果,因为我有 25 个 post 索引。但我得到一个空集。如果我删除嵌套过滤器,一切正常。我希望能够过滤嵌套对象
编辑:
在我的设置中我有:
"analyzer": {
"custom_analyzer": {
"type": "custom",
"tokenizer": "nGram",
"filter": [
"stopwords",
"asciifolding",
"lowercase",
"snowball",
"english_stemmer",
"english_possessive_stemmer",
"worddelimiter"
]
},
"custom_search_analyzer": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"stopwords",
"asciifolding",
"lowercase",
"snowball",
"english_stemmer",
"english_possessive_stemmer",
"worddelimiter"
]
}
}
我在这里缺少什么。
谢谢
简短版本:试试这个(更新端点和索引名称后):
curl -XPOST "http://localhost:9200/my_index/_search?search_type=dfs_query_then_fetch" -d'
{
"query": {
"filtered": {
"query": {
"bool": {
"must": [
{
"match": {
"title": "post"
}
}
]
}
},
"filter": {
"bool": {
"must": [
{
"nested": {
"path": "seller",
"filter": {
"bool": {
"must": [
{
"terms": {
"seller.firstName": [
"test",
"3"
],
"execution": "and"
}
}
]
}
}
}
}
]
}
}
}
}
}'
它对我有用,你的设置的简化版本。稍后我会 post 进行更详细解释的编辑。
编辑:长版:
您查询的问题是分析器与查询中的 term
过滤器结合使用。您的分析器正在将 firstName
字段的文本分解为标记;所以 "Test 3"
成为标记 "test"
和 "3"
。当你使用 { "term": { "seller.firstName": "Test 3" } }
时,你的意思是,找到一个文档,其中 "seller.firstName"
的标记之一是 "Test 3"
,并且没有任何文档是真的(在事实上,无法给出分析仪的设置方式)。您可以在该字段上使用 "index": "not_analyzed"
然后您的查询将起作用,或者您可以使用我上面显示的 terms
过滤器。这是我到达那里的方式:
我从您在评论中链接到的索引定义开始,并对其进行了一些简化以使其更具可读性并仍然保持基本问题:
curl -XDELETE "http://localhost:9200/my_index"
curl -XPUT "http://localhost:9200/my_index" -d'
{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 0,
"analysis": {
"filter": {
"snowball": { "type": "snowball", "language": "English" },
"english_stemmer": { "type": "stemmer", "language": "english" },
"english_possessive_stemmer": { "type": "stemmer", "language": "possessive_english" },
"stopwords": { "type": "stop", "stopwords": [ "_english_" ] },
"worddelimiter": { "type": "word_delimiter" }
},
"tokenizer": {
"nGram": { "type": "nGram", "min_gram": 3, "max_gram": 20 }
},
"analyzer": {
"custom_analyzer": {
"type": "custom",
"tokenizer": "nGram",
"filter": [
"stopwords",
"asciifolding",
"lowercase",
"snowball",
"english_stemmer",
"english_possessive_stemmer",
"worddelimiter"
]
},
"custom_search_analyzer": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"stopwords",
"asciifolding",
"lowercase",
"snowball",
"english_stemmer",
"english_possessive_stemmer",
"worddelimiter"
]
}
}
}
},
"mappings": {
"posts": {
"properties": {
"title": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 5
},
"seller": {
"type": "nested",
"properties": {
"firstName": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 3
}
}
}
}
}
}
}'
然后我添加了一些测试文档:
curl -XPUT "http://localhost:9200/my_index/posts/1" -d'
{"title": "post", "seller": {"firstName":"Test 1"}}'
curl -XPUT "http://localhost:9200/my_index/posts/2" -d'
{"title": "post", "seller": {"firstName":"Test 2"}}'
curl -XPUT "http://localhost:9200/my_index/posts/3" -d'
{"title": "post", "seller": {"firstName":"Test 3"}}'
然后 运行 您的查询的简化版本,基本结构仍然完好无损,但使用 terms
过滤器而不是 term
过滤器:
curl -XPOST "http://localhost:9200/my_index/_search?search_type=dfs_query_then_fetch" -d'
{
"query": {
"filtered": {
"query": {
"bool": {
"must": [
{
"match": {
"title": "post"
}
}
]
}
},
"filter": {
"bool": {
"must": [
{
"nested": {
"path": "seller",
"filter": {
"bool": {
"must": [
{
"terms": {
"seller.firstName": [
"test",
"3"
],
"execution": "and"
}
}
]
}
}
}
}
]
}
}
}
}
}'
...
{
"took": 5,
"timed_out": false,
"_shards": {
"total": 1,
"successful": 1,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 6.085842,
"hits": [
{
"_index": "my_index",
"_type": "posts",
"_id": "3",
"_score": 6.085842,
"_source": {
"title": "post",
"seller": {
"firstName": "Test 3"
}
}
}
]
}
}
这似乎 return 你想要的。
这是我使用的代码:
http://sense.qbox.io/gist/041dd929106d27ea606f48ce1f86076c52faec91
我有这个映射:
"post": {
"model": "Post",
"properties": {
"id": {
"type": "integer"
},
"title": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 5
},
"description": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 4
},
"condition": {
"type": "integer",
"index": "not_analyzed"
},
"categories": {
"type": "string",
"index": "not_analyzed"
},
"seller": {
"type": "nested",
"properties": {
"id": {
"type": "integer",
"index": "not_analyzed"
},
"username": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 1
},
"firstName": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 3
},
"lastName": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 2
}
}
},
"marketPrice": {
"type": "float",
"index": "not_analyzed"
},
"currentPrice": {
"type": "float",
"index": "not_analyzed"
},
"discount": {
"type": "float",
"index": "not_analyzed"
},
"commentsCount": {
"type": "integer",
"index": "not_analyzed"
},
"likesCount": {
"type": "integer",
"index": "not_analyzed"
},
"featured": {
"type": "boolean",
"index": "not_analyzed"
},
"bumped": {
"type": "boolean",
"index": "not_analyzed"
},
"created": {
"type": "date",
"index": "not_analyzed"
},
"modified": {
"type": "date",
"index": "not_analyzed"
}
}
}
这个查询:
GET /develop/_search?search_type=dfs_query_then_fetch
{
"query": {
"filtered" : {
"query": {
"bool": {
"must": [
{ "match": { "title": "post" }}
]
}
},
"filter": {
"bool": {
"must": [
{"term": {
"featured": 0
}},
{
"nested": {
"path": "seller",
"filter": {
"bool": {
"must": [
{ "term": { "seller.firstName": "Test 3" } }
]
}
},
"_cache" : true
}}
]
}
}
}
},
"sort": [
{
"_score":{
"order": "desc"
}
},{
"created": {
"order": "desc"
}
}
],
"track_scores": true
}
我等待 25 个结果,因为我有 25 个 post 索引。但我得到一个空集。如果我删除嵌套过滤器,一切正常。我希望能够过滤嵌套对象
编辑:
在我的设置中我有:
"analyzer": {
"custom_analyzer": {
"type": "custom",
"tokenizer": "nGram",
"filter": [
"stopwords",
"asciifolding",
"lowercase",
"snowball",
"english_stemmer",
"english_possessive_stemmer",
"worddelimiter"
]
},
"custom_search_analyzer": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"stopwords",
"asciifolding",
"lowercase",
"snowball",
"english_stemmer",
"english_possessive_stemmer",
"worddelimiter"
]
}
}
我在这里缺少什么。
谢谢
简短版本:试试这个(更新端点和索引名称后):
curl -XPOST "http://localhost:9200/my_index/_search?search_type=dfs_query_then_fetch" -d'
{
"query": {
"filtered": {
"query": {
"bool": {
"must": [
{
"match": {
"title": "post"
}
}
]
}
},
"filter": {
"bool": {
"must": [
{
"nested": {
"path": "seller",
"filter": {
"bool": {
"must": [
{
"terms": {
"seller.firstName": [
"test",
"3"
],
"execution": "and"
}
}
]
}
}
}
}
]
}
}
}
}
}'
它对我有用,你的设置的简化版本。稍后我会 post 进行更详细解释的编辑。
编辑:长版:
您查询的问题是分析器与查询中的 term
过滤器结合使用。您的分析器正在将 firstName
字段的文本分解为标记;所以 "Test 3"
成为标记 "test"
和 "3"
。当你使用 { "term": { "seller.firstName": "Test 3" } }
时,你的意思是,找到一个文档,其中 "seller.firstName"
的标记之一是 "Test 3"
,并且没有任何文档是真的(在事实上,无法给出分析仪的设置方式)。您可以在该字段上使用 "index": "not_analyzed"
然后您的查询将起作用,或者您可以使用我上面显示的 terms
过滤器。这是我到达那里的方式:
我从您在评论中链接到的索引定义开始,并对其进行了一些简化以使其更具可读性并仍然保持基本问题:
curl -XDELETE "http://localhost:9200/my_index"
curl -XPUT "http://localhost:9200/my_index" -d'
{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 0,
"analysis": {
"filter": {
"snowball": { "type": "snowball", "language": "English" },
"english_stemmer": { "type": "stemmer", "language": "english" },
"english_possessive_stemmer": { "type": "stemmer", "language": "possessive_english" },
"stopwords": { "type": "stop", "stopwords": [ "_english_" ] },
"worddelimiter": { "type": "word_delimiter" }
},
"tokenizer": {
"nGram": { "type": "nGram", "min_gram": 3, "max_gram": 20 }
},
"analyzer": {
"custom_analyzer": {
"type": "custom",
"tokenizer": "nGram",
"filter": [
"stopwords",
"asciifolding",
"lowercase",
"snowball",
"english_stemmer",
"english_possessive_stemmer",
"worddelimiter"
]
},
"custom_search_analyzer": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"stopwords",
"asciifolding",
"lowercase",
"snowball",
"english_stemmer",
"english_possessive_stemmer",
"worddelimiter"
]
}
}
}
},
"mappings": {
"posts": {
"properties": {
"title": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 5
},
"seller": {
"type": "nested",
"properties": {
"firstName": {
"type": "string",
"analyzer": "custom_analyzer",
"boost": 3
}
}
}
}
}
}
}'
然后我添加了一些测试文档:
curl -XPUT "http://localhost:9200/my_index/posts/1" -d'
{"title": "post", "seller": {"firstName":"Test 1"}}'
curl -XPUT "http://localhost:9200/my_index/posts/2" -d'
{"title": "post", "seller": {"firstName":"Test 2"}}'
curl -XPUT "http://localhost:9200/my_index/posts/3" -d'
{"title": "post", "seller": {"firstName":"Test 3"}}'
然后 运行 您的查询的简化版本,基本结构仍然完好无损,但使用 terms
过滤器而不是 term
过滤器:
curl -XPOST "http://localhost:9200/my_index/_search?search_type=dfs_query_then_fetch" -d'
{
"query": {
"filtered": {
"query": {
"bool": {
"must": [
{
"match": {
"title": "post"
}
}
]
}
},
"filter": {
"bool": {
"must": [
{
"nested": {
"path": "seller",
"filter": {
"bool": {
"must": [
{
"terms": {
"seller.firstName": [
"test",
"3"
],
"execution": "and"
}
}
]
}
}
}
}
]
}
}
}
}
}'
...
{
"took": 5,
"timed_out": false,
"_shards": {
"total": 1,
"successful": 1,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 6.085842,
"hits": [
{
"_index": "my_index",
"_type": "posts",
"_id": "3",
"_score": 6.085842,
"_source": {
"title": "post",
"seller": {
"firstName": "Test 3"
}
}
}
]
}
}
这似乎 return 你想要的。
这是我使用的代码:
http://sense.qbox.io/gist/041dd929106d27ea606f48ce1f86076c52faec91