fluentd是否满足这个需求
Does fluentd meets this need
目前我正在开发一个使用 ElasticSearch 数据的仪表板项目,Elasticsearch 通过 python 脚本提供,这些脚本以 json 的形式从 Web 应用程序收集这些信息,数据或 csv 文件。这些脚本每天通过 cron 运行。我在这里的问题是我是否可以使用 fluentd 来替换这些脚本。那么 Fluentd 是否可以收集信息(检测它们是否是新的,因为其中一些文件没有时间戳)并将它们输出到 ElasticSearch?
是的,这正是使用 Fluentd 的原因 - 过滤、解析、标记日志文件并将数据推送到 ElasticSearch。
从 Web 应用程序收集信息的 python 脚本可以用 Fluentd 替换,然后 ElasticSearch 可以从 Fluentd 中提取这些数据。
- 使用 Fluentd 将 json 数据导入 ElasticSearch 的文档位于 https://docs.fluentd.org/v0.12/articles/recipe-json-to-elasticsearch。
- 所需的
fluent-plugin-elasticsearch
插件位于 https://github.com/uken/fluent-plugin-elasticsearch。
- Elasticsearch 输出插件的文档位于 https://docs.fluentd.org/v1.0/articles/out_elasticsearch。
- 有关如何全部设置的官方 Fluentd 文档位于 https://www.fluentd.org/guides/recipes/elasticsearch-and-s3。
目前我正在开发一个使用 ElasticSearch 数据的仪表板项目,Elasticsearch 通过 python 脚本提供,这些脚本以 json 的形式从 Web 应用程序收集这些信息,数据或 csv 文件。这些脚本每天通过 cron 运行。我在这里的问题是我是否可以使用 fluentd 来替换这些脚本。那么 Fluentd 是否可以收集信息(检测它们是否是新的,因为其中一些文件没有时间戳)并将它们输出到 ElasticSearch?
是的,这正是使用 Fluentd 的原因 - 过滤、解析、标记日志文件并将数据推送到 ElasticSearch。
从 Web 应用程序收集信息的 python 脚本可以用 Fluentd 替换,然后 ElasticSearch 可以从 Fluentd 中提取这些数据。
- 使用 Fluentd 将 json 数据导入 ElasticSearch 的文档位于 https://docs.fluentd.org/v0.12/articles/recipe-json-to-elasticsearch。
- 所需的
fluent-plugin-elasticsearch
插件位于 https://github.com/uken/fluent-plugin-elasticsearch。 - Elasticsearch 输出插件的文档位于 https://docs.fluentd.org/v1.0/articles/out_elasticsearch。
- 有关如何全部设置的官方 Fluentd 文档位于 https://www.fluentd.org/guides/recipes/elasticsearch-and-s3。