更新已经用 logstash 和 filebeat 上传的 elasticsearch 数据

Question

我们有一个问题：我们将 logstash 与转发器 filebeat 一起使用。我们已经上传了 2100 万条日志，现在我们对 logstash 中的配置文件进行了更改。我们不想删除所有数据并重新加载它，所以我们想知道是否有更新字段的方法。但是我们不想更新每个字段，只有当其中有特定内容时才更新。任何人都可以帮助我们并提供一个代码示例吗？感谢您的帮助！

    {
  "_index": "logstash-2016.06.06",
  "_type": "log",
  "_id": "4f63b12b098bd5ff02de89e7057347c8ea39ae96",
  "_score": null,
  "_source": {
    "message": "[06/Jun/2016:23:59:58 -0700] \"GET CFNetwork/758.4.3 Darwin/15.5.0\"",
    "@version": "1",
    "@timestamp": "2016-06-06T21:59:58.000Z",
    "type": "log",
    "fields": null,
    "beat": {
      "hostname": "xxx",
      "name": "xxx"
    },
    "source": "xxx",
    "offset": xxx,
    "input_type": "log",
    "count": 1,
    "host": "xxx",
    "iOSVersion": "Unknown",
    "tags": [
      "beats_input_codec_plain_applied"
    ],
    "@uuid": "79e6a34e-13e4-9b5b-467b3a1f04fa",
    "fingerprint": "xxx",
    "logDate": "06/Jun/2016:23:59:58",
    "timezone": "0700",
    "httpRequest": "GET",
    "network": "CFNetwork",
    "CFNetworkNumber": "758.4.3",
    "DarwinVersion": "Darwin",
    "darwinVersionNumber": "15.5.0"
  },
  "fields": {
    "@timestamp": [
      1465250398000
    ]
  },
  "sort": [
    1465250398000
  ]
}

因此，我们通过在 logstash 配置中匹配的 table 中使用 CFNetworkNumber 和 DarwinVersion 来获取 iOSVersion。在这个例子中，iOSVersion 是未知的，因为这个组合还没有在配置中。所以我想添加一个 this case 并更新这些文件，因为它是未知的，但在这个改变之后 cas 是已知的。所以我在 logstash 配置中添加的是：

else if [darwinVersionNumber] == "15.5.0" { 
    if[CFNetworkNumber] == "758.4.3" {
        mutate{
            gsub => ["iOSVersion", "Unknown", "9.3.2"]
        }
    }
}

Answer 1

如果您使用的是 ES 2.x，您可以简单地使用 update by query 端点来使用以下查询更新这些文档

POST /logstash-*/_update_by_query
{
  "script": {
    "inline": "ctx._source.iOSVersion = '9.3.2'"
  },
  "query": {
    "bool": {
      "filter": [
        {"term": {"iOSVersion.raw": "Unknown"}},
        {"term": {"darwinVersionNumber.raw": "15.5.0"}},
        {"term": {"CFNetworkNumber.raw": "758.4.3"}}
      ]
    }
  }
}

如果您仍在使用 ES 1.x，那么您可以使用 update by query plugin 做同样的事情

更新已经用 logstash 和 filebeat 上传的 elasticsearch 数据

update elasticsearch data that is already uploaded with logstash and filebeat

updates

elasticsearch

logstash

filebeat