Amazon Web Services - S3 - Logstash 或 Lambda 将数据导入 Elasticsearch？
Amazon Web Services - S3 - Logstash or Lambda to channel data into Elasticsearch?
我的问题是 pro/con。我想将数据从 Amazon S3 传输到 Elasticsearch，并且正在考虑两种选择：通过 Logstash 或通过 Lambda 传输。哪一个是 faster/easier/more 弹性解决方案，为什么？有人有经验吗？
谢谢！
免责声明：我的经验仅使用 Logstash。
使用 logstash，您必须处理服务器，以及 logstash 的安装和配置。但是您不必编写任何代码，并且您已经准备好插件来处理连接。
如果您没有修改数据，则配置非常简单。如果你有修改 Logstash 有各种插件来做不同的操作。
Logstash documentation
根据我对 aws-Lambda 的了解，您不必管理服务器和应用程序，但您必须编写所有代码，包括与 S3 和 Elasticsearch 的连接。
目前AWS不支持自定义logstash服务模块。所以就像你说的，我们有两种方法：
logstash
优点：
您可以使用所有 logstash 功能和过滤器
用于日志传送的流行标准工具
缺点：
您需要设置运行 logstash 代理的 EC2 机器。
Lambda 函数
优点：
不需要服务器设置，我也相信没有额外的费用。
缺点：
您将需要编写从 S3 读取和写入 ElasticSearch
我也遇到过执行此标准运输的 lambda 函数。
https://github.com/arithmetric/lambda-stash
看起来很有希望，但似乎不支持 logstash 过滤器
我的问题是 pro/con。我想将数据从 Amazon S3 传输到 Elasticsearch，并且正在考虑两种选择：通过 Logstash 或通过 Lambda 传输。哪一个是 faster/easier/more 弹性解决方案，为什么？有人有经验吗？
谢谢！
免责声明：我的经验仅使用 Logstash。
使用 logstash，您必须处理服务器，以及 logstash 的安装和配置。但是您不必编写任何代码，并且您已经准备好插件来处理连接。
如果您没有修改数据，则配置非常简单。如果你有修改 Logstash 有各种插件来做不同的操作。
Logstash documentation
根据我对 aws-Lambda 的了解，您不必管理服务器和应用程序，但您必须编写所有代码，包括与 S3 和 Elasticsearch 的连接。
目前AWS不支持自定义logstash服务模块。所以就像你说的，我们有两种方法：
logstash 优点： 您可以使用所有 logstash 功能和过滤器 用于日志传送的流行标准工具 缺点： 您需要设置运行 logstash 代理的 EC2 机器。
Lambda 函数 优点： 不需要服务器设置，我也相信没有额外的费用。 缺点： 您将需要编写从 S3 读取和写入 ElasticSearch
的代码
我也遇到过执行此标准运输的 lambda 函数。 https://github.com/arithmetric/lambda-stash
看起来很有希望，但似乎不支持 logstash 过滤器