在elasticsearch中存储结构化日志
Storing structured logs in elasticsearch
我们考虑在elasticsearch中存储结构化日志。这是 elasticsearch 新手的高级问题。
我不确定在 elasticsearch 中索引后是否可以删除结构化日志。
我看不出为什么要保留日志。可以再次从 elasticsearch 检索它们。
只要我们有足够的存储空间 space 用于 elasticsearch,我们为什么要在 elasticsearch 之外保留一份日志副本?
关于 ES 中结构化日志的快速说明...我建议查看 ELK 堆栈:http://www.elasticsearch.org/webinars/elk-stack-devops-environment/
它在传送日志的中心使用 logstash,这是一项久经考验的真实技术。
要起床并运行 非常快,您可以使用 Docker 映像 (https://registry.hub.docker.com/u/qnib/elk/),它为您安装了 ES、logstash 和 Kibana。省去了自己动手的麻烦。
至于保留日志...我只会在机器上保留一小部分 window 日志(2 周?)。使用 logstash 转发器作为客户端 (https://github.com/elasticsearch/logstash-forwarder),它会自动为您轮换日志。你会想要机器上的日志以防 ES 出现故障。
引用文档:
_source 字段是一个自动生成的字段,用于存储用作索引文档的实际 JSON。它没有索引(可搜索),只是存储。
http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/mapping-source-field.html
如果您有 elasticsearch 的备份并且不禁用 _source 字段,则可以 drop/delete/remove 原始 json 数据。
N年后,您可以自由地将旧东西从elasticsearch移动到不同的存储。
回答:您不需要将数据存储在其他地方。
我们考虑在elasticsearch中存储结构化日志。这是 elasticsearch 新手的高级问题。
我不确定在 elasticsearch 中索引后是否可以删除结构化日志。
我看不出为什么要保留日志。可以再次从 elasticsearch 检索它们。
只要我们有足够的存储空间 space 用于 elasticsearch,我们为什么要在 elasticsearch 之外保留一份日志副本?
关于 ES 中结构化日志的快速说明...我建议查看 ELK 堆栈:http://www.elasticsearch.org/webinars/elk-stack-devops-environment/
它在传送日志的中心使用 logstash,这是一项久经考验的真实技术。
要起床并运行 非常快,您可以使用 Docker 映像 (https://registry.hub.docker.com/u/qnib/elk/),它为您安装了 ES、logstash 和 Kibana。省去了自己动手的麻烦。
至于保留日志...我只会在机器上保留一小部分 window 日志(2 周?)。使用 logstash 转发器作为客户端 (https://github.com/elasticsearch/logstash-forwarder),它会自动为您轮换日志。你会想要机器上的日志以防 ES 出现故障。
引用文档:
_source 字段是一个自动生成的字段,用于存储用作索引文档的实际 JSON。它没有索引(可搜索),只是存储。
http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/mapping-source-field.html
如果您有 elasticsearch 的备份并且不禁用 _source 字段,则可以 drop/delete/remove 原始 json 数据。
N年后,您可以自由地将旧东西从elasticsearch移动到不同的存储。
回答:您不需要将数据存储在其他地方。