日期基数直方图

Question

查询 Elasticsearch 以实现表示唯一身份访问者总数指标的日期直方图的最佳方式是什么？

考虑以下数据：

PUT /events
{
"mappings" : {
        "_doc" : {
            "properties" : {
                "userId" : { "type" : "keyword" },
                "eventDate" : { "type" : "date" }
            }
        }
    }
}

POST /events/_bulk
{ "index" : { "_index" : "events", "_type" : "_doc", "_id" : "1" } }
{"userId": "1","eventDate": "2019-03-04T13:40:18.514Z"}
{ "index" : { "_index" : "events", "_type" : "_doc", "_id" : "2" } }
{"userId": "2","eventDate": "2019-03-04T13:46:18.514Z"}
{ "index" : { "_index" : "events", "_type" : "_doc", "_id" : "3" } }
{"userId": "3","eventDate": "2019-03-04T13:50:18.514Z"}
{ "index" : { "_index" : "events", "_type" : "_doc", "_id" : "4" } }
{"userId": "1","eventDate": "2019-03-05T13:46:18.514Z"}
{ "index" : { "_index" : "events", "_type" : "_doc", "_id" : "5" } }
{"userId": "4","eventDate": "2019-03-05T13:46:18.514Z"}

现在，如果我查询 userId 字段的基数，我会得到 4 个不同的访问者。

POST /events/_search
{
    "size": 0,
    "aggs": {
        "visitors": {
            "cardinality": {
                "field": "userId"
            }
        }
    }
}

但是，根据日期直方图分布文档时，我得到的总和为 5，因为两个存储桶中都有重复的 userId。

POST /events/_search
{
    "size": 0,
    "aggs": {
        "visits_over_time": {
            "date_histogram": {
                "field": "eventDate",
                "interval": "1d"
            },
            "aggs": {
                "visitors": {
                    "cardinality": {
                        "field": "userId"
                    }
                }
            }
        }
    }
}

有没有办法过滤掉那些重复的值？实现此目标的最佳方法是什么？

Answer 1

用户 ID 重复，但它们出现在不同的日期，因此按天分配它们将使其出现不止一次，除非您正在查看特定的一天。即便如此，如果同一个 ID 在同一天出现不止一次，您可能仍然有重复的 ID，具体取决于您查看的时间范围的精确程度。由于您查看的是一天的时间间隔，因此它 returns 5 条记录是正确的，并且应该说在 4 日，有 3 个 ID，其中一个是重复的，并且在第二天显示了两个具有两个不同的记录ids 其中一个是重复的。如果您将间隔增加到一周或一个月，这些重复项将被计为一次。

我相信您已经遇到过这个问题，但请再看一看它，因为它正在解释您的确切用例。 Link

基本上，它返回给定日期的所有唯一身份访问者。如果您不关心单个用户而只想知道有多少用户，那么您需要一种不同的方法。也许是一组查询

Answer 2

我们在代码中遇到了同样的问题，我们的解决方案是在 UserId 字段上使用 Terms 聚合，在 datetime 字段上使用嵌套的 Min 聚合。这为您提供了一个包含第一次访问的 Bucket 的每个 userId 的 bucket。我们在日期直方图之外进行聚合，然后手动映射。

"aggs": {
    "UniqueUsers": {
      "terms": {
        "field": "userId",
        "size": 1000,
      }, "aggs": {
        "FirstSeen": {
          "min": {
            "field": "date"
          }
        }
      }
    }
  }

这对我们有用，但我相信应该有更好的实施方式。

Answer 3

即使我想避免使用脚本，Scripted Metric Aggregation 似乎是完成要求的唯一方法：

{
    "size": 0,
    "aggs": {
        "visitors": {
            "scripted_metric": {
                "init_script": "params._agg.dateMap = new HashMap();",
                "map_script": "params._agg.dateMap.merge(doc.userId[0].toString(), doc.eventDate.value, (e1, e2) -> e1.isBefore(e2) ? e1 : e2);",
                "combine_script": "return params._agg.dateMap;",
                "reduce_script": "def dateMap = new HashMap(); for (map in params._aggs) { if (map == null) continue; for (entry in map.entrySet()) dateMap.merge(entry.key, entry.value, (e1, e2) -> e1.isBefore(e2) ? e1 : e2); } def hist = new TreeMap(); for (entry in dateMap.entrySet()) hist.merge(entry.value.toString(), 1, (a, b) -> a + 1); return hist;"
            }
        }
    }
}

Init 只是创建一个空的 HashMap，Map 以 userId 作为键填充该映射并将最旧的 eventDate 设置为值，而 Combine 只是解开要传递给 Reduce 的映射：

def dateMap = new HashMap();
for (map in params._aggs) {
    if (map == null) continue;
    for (entry in map.entrySet())
        dateMap.merge(entry.key, entry.value, (e1, e2) -> e1.isBefore(e2) ? e1 : e2);
}

def hist = new TreeMap();
for (entry in dateMap.entrySet())
    hist.merge(entry.value.toString(), 1, (a, b) -> a + 1);
return hist;

直到 Combine 为每个集群节点执行了代码，Reduce 将所有映射合并为一个（即 dateMap），保留每个 userId 最旧的 eventDate。然后它计算每个 eventDate 的出现次数。

结果是：

"aggregations": {
    "visitors": {
        "value": {
            "2019-03-04T13:40:18.514Z": 1,
            "2019-03-04T13:46:18.514Z": 1,
            "2019-03-04T13:50:18.514Z": 1,
            "2019-03-05T13:46:18.514Z": 1
        }
    }
}

唯一缺少的部分是这些值必须在应用程序代码中分组为直方图。

注意¹：使用风险自负，我不知道内存消耗是否会因为这些哈希映射而增加很多，或者它在大型数据集上的表现如何。

注意²：从 Elasticsearch 6.4 开始，应使用 state 和 states 而不是 params._agg 和 params._aggs。

日期基数直方图

Cardinality over Date Histogram

elasticsearch

date-histogram