Logstash：迁移后丢失数据

Question

我一直在使用 Logstash 将自托管 Elasticsearch 中的一个索引迁移到 amazon-elasticsearch。我们在自托管 Elasticsearch 中有大约 1812 个文档，但在 amazon-elasticsearch 中，我们只有大约 637 个文档。迁移后一半文件丢失。

我们的 logstash 配置文件

input {
 elasticsearch {
 hosts => ["https://staing-example.com:443"]
 user => "userName"
 password => "password"
 index => "testingindex"
 size => 100
 scroll => "1m"
 }
}

filter {

}

output {
 amazon_es {
 hosts => ["https://example.us-east-1.es.amazonaws.com:443"]
 region => "us-east-1"
 aws_access_key_id => "access_key_id"
 aws_secret_access_key => "access_key_id"
 index => "testingindex"
}
stdout{
  codec => rubydebug
  }
}

我们也尝试了其他一些索引，但它仍然只迁移了一半的文档。

Answer 1

确保通过运行 GET index/_count 将两边的索引进行比较。

您可能会看到更多或更少的文档，具体取决于您查看的位置（Elasticsearch HEAD 插件、Kibana、Cerebro 等）以及是否在计数中考虑了副本。

在您的情况下，您本地环境中的副本多于 AWS Elasticsearch 服务中的副本，因此计数不同。

Logstash：迁移后丢失数据

Logstash: Missing data after migration

elasticsearch

logstash

amazon-elasticsearch