fluentd是否满足这个需求

Does fluentd meets this need

目前我正在开发一个使用 ElasticSearch 数据的仪表板项目,Elasticsearch 通过 python 脚本提供,这些脚本以 json 的形式从 Web 应用程序收集这些信息,数据或 csv 文件。这些脚本每天通过 cron 运行。我在这里的问题是我是否可以使用 fluentd 来替换这些脚本。那么 Fluentd 是否可以收集信息(检测它们是否是新的,因为其中一些文件没有时间戳)并将它们输出到 ElasticSearch?

是的,这正是使用 Fluentd 的原因 - 过滤、解析、标记日志文件并将数据推送到 ElasticSearch。

从 Web 应用程序收集信息的 python 脚本可以用 Fluentd 替换,然后 ElasticSearch 可以从 Fluentd 中提取这些数据。

  1. 使用 Fluentd 将 json 数据导入 ElasticSearch 的文档位于 https://docs.fluentd.org/v0.12/articles/recipe-json-to-elasticsearch
  2. 所需的 fluent-plugin-elasticsearch 插件位于 https://github.com/uken/fluent-plugin-elasticsearch
  3. Elasticsearch 输出插件的文档位于 https://docs.fluentd.org/v1.0/articles/out_elasticsearch
  4. 有关如何全部设置的官方 Fluentd 文档位于 https://www.fluentd.org/guides/recipes/elasticsearch-and-s3