Elasticsearch 索引更新完成前查询 returns 个旧数据

Question

我正在使用带选项的 searchkick gem：

 searchkick callbacks: :async

有一种情况，我删除一条记录，客户端立即调用索引端点列出所有记录。但是由于 ES 索引还没有被后台作业更新，它得到的是旧数据。

我正在寻找有关如何解决此问题的想法。有没有便宜的方法来检查索引是否正在更新？

Answer 1

发生这种情况的原因是您的索引 refresh_interval 属性。如果没有明确设置，它的默认值为 1（我假设是你的情况）。

来自文档：

By default, Elasticsearch periodically refreshes indices every second, but only on indices that have received one search request or more in the last 30 seconds.

解决方案 1

您可以使用 Elasticsearch 的 refresh 参数来解决您的问题，但风险自负。我解决了类似的问题。

curl -X PUT "localhost:9200/test/_doc/1?refresh&pretty" -H 'Content-Type: application/json' -d'
{"test": "test"}
'
curl -X PUT "localhost:9200/test/_doc/2?refresh=true&pretty" -H 'Content-Type: application/json' -d'
{"test": "test"}
'

解决方案 2

支持显式刷新索引。

curl -X POST "localhost:9200/my-index-000001/_refresh?pretty"

注意：上述解决方案并不便宜，实际上是昂贵的，如果索引中有大量文档，可能会导致性能问题。

解决方案 3

（如果您的客户端和 ES 之间有后端和 RDS 层）收到来自 ES 的响应后，从最终响应中删除 RDS 中不存在的条目。

Elasticsearch 索引更新完成前查询 returns 个旧数据

Querying before Elasticsearch index update is finished returns old data

ruby-on-rails

elasticsearch

searchkick