查询过多的滚动上下文

Query on too many scroll contexts

我们正在使用 ES 版本 6.4,我们想升级到 7.4。在测试升级以使用 Scroll 进行分页搜索时,我们面临以下问题:

Trying to create too many scroll contexts. Must be less than or equal to [500]. This limit can be set by changing the [search.max_open_scroll_context] setting.

看来我们只能打开 500 个滚动上下文。

当我们发起滚动时,会创建一个滚动上下文(上下文A),滚动id指向上下文(上下文A)。 当我检索下一批时,会创建一个新的滚动上下文(上下文 B)。我收到相同的滚动 ID(现在它指向上下文 B)。 较旧的滚动上下文(上下文 A)会发生什么。会立即关闭并进行 GC 吗?或者只有在滚动时间到期后才会发生?如何清除旧的滚动上下文?与旧上下文(上下文 A)关联的滚动 ID 现在指向新上下文(上下文 B)。

我们如何解决这个问题?

我们的选择:

  1. 我们可以在设置中增加滚动上下文。有什么问题吗 如果我们将滚动上下文增加到更高的数字(例如:10000)
  2. 使用后清除滚动上下文。我们观察到相同的 scroll id 被返回以检索后续批次。我们如何清除 为旧批次创建的滚动上下文?

使用 Search after 而不是 Scroll API 可能是更好的选择,因为 ES 不再推荐使用 Scroll API 进行深度分页(ES 7.x)。您可以在 ElasticSearch 文档页面上找到更多信息:https://www.elastic.co/guide/en/elasticsearch/reference/7.x/scroll-api.html