使用大量存储桶在 Elastic 中导航术语聚合

Question

希望大家都平安！

我正在尝试探索在 elasticsearch 中解决以下用例的正确方法

假设我有大约 700000 个文档，我想根据一个字段（我们称之为 primary_id）对它们进行存储。对于多个文档，此主 ID 可以相同（通常最多 2-3 个文档将具有相同的 primary_id）。在所有其他情况下，primary_id 不会在任何其他文档中重复。

所以平均每 10 个文档中我将有 8 个唯一的主要 ID，并且 2 个文档中有 1 个相同的主要 ID

为了确保唯一性，我尝试使用术语聚合，但最终得到的是响应我的搜索请求但不是后续滚动请求的存储桶。谷歌搜索后，我发现滚动查询不支持聚合。

因此，我尝试寻找替代解决方案，并尝试了此 link 中的解决方案，https://lukasmestan.com/learn-how-to-use-scroll-elasticsearch-aggregation/

它建议使用多个搜索请求，每个请求指定要获取的分区号（取决于您将结果分成多少个分区）。但是即使客户端超时设置很高，我也会收到客户端超时。

理想情况下，我想知道处理此类数据的最佳方法是什么，其中形成存储桶的字段的方差几乎等于文档的数量。 SQL 等效项是 select DISTINCT ( primary_id) from .....

但在 elasticsearch 中，不同的事物只能通过分桶（术语聚合）处理。

我还使用最高命中率作为术语聚合下的子聚合查询来获取 _source 字段。

任何帮助将不胜感激！

谢谢！

Answer 1

分页聚合有3种方式。

复合聚合
分区
桶排序

您已经尝试过的分区。

Composite Aggregation：可以将多个数据源合并到一个桶中，并允许对其进行分页和排序。它只能使用 after_key 线性分页，即你不能从第 1 页跳到第 3 页。你可以获取 "n" 记录，然后在键后返回并获取下一个 "n" 记录。

GET index22/_search
{
 "size": 0,
 "aggs": {
   "ValueCount": {
     "value_count": {
       "field": "id.keyword"
     }
   },
   "pagination": {
     "composite": {
       "size": 2,
       "sources": [
         {
           "TradeRef": {
             "terms": {
               "field": "id.keyword"
             }
           }
         }
       ]
     }
   }
 }
}

桶排序

The bucket_sort aggregation, like all pipeline aggregations, is executed after all other non-pipeline aggregations. This means the sorting only applies to whatever buckets are already returned from the parent aggregation. For example, if the parent aggregation is terms and its size is set to 10, the bucket_sort will only sort over those 10 returned term buckets

所以这不适合你的情况

您可以通过更新设置 index.max_result_window 将结果大小增加到大于 10K 的值。设置过大的大小可能会导致内存不足问题，因此您需要对其进行测试，看看您的硬件可以支持多少。

更好的选择是使用 scroll api 并在客户端执行 distinct

使用大量存储桶在 Elastic 中导航术语聚合

Navigating terms aggregation in Elastic with very large number of buckets

aggregation

elasticsearch