Dynamodb 流直接进入 Elasticsearch,无需其他中间层
Dynamo Db stream direct into Elastic Search without other middle layer
我们是否可以不使用 logstash 直接将 dynamo db 数据流式传输到 AWS elastic search 服务,因为使用 logstash 会产生额外费用?在我在线阅读的所有文章中,我们都可以使用 logstash 或 lambda 来实现这一点。
我过去在 AWS 上使用过 DynamoDB,设置流以将更改从 DynamoDB 推送到端点,然后使用 Logstash 从端点读取并将更改写入 ES。看来现在你可以在流上使用 Lambda 来写入 ES,而不需要 Logstash。
也就是说,Logstash 方法还会在启动时迁移 dynamoDB table 中的所有现有数据。上面列出的 streams/lambda 方法显然不会这样做。为了提供该功能,文章提到设置一个额外的 Kinesis Stream,将其用作 ES writer lambda 的第二个输入,然后 运行 一些 python 代码或类似代码以从数据库加载所有现有数据进入运动流。
与仅使用 Logstash 涵盖这两种情况相比,这似乎很复杂,而且成本可能更高。
我们是否可以不使用 logstash 直接将 dynamo db 数据流式传输到 AWS elastic search 服务,因为使用 logstash 会产生额外费用?在我在线阅读的所有文章中,我们都可以使用 logstash 或 lambda 来实现这一点。
我过去在 AWS 上使用过 DynamoDB,设置流以将更改从 DynamoDB 推送到端点,然后使用 Logstash 从端点读取并将更改写入 ES。看来现在你可以在流上使用 Lambda 来写入 ES,而不需要 Logstash。
也就是说,Logstash 方法还会在启动时迁移 dynamoDB table 中的所有现有数据。上面列出的 streams/lambda 方法显然不会这样做。为了提供该功能,文章提到设置一个额外的 Kinesis Stream,将其用作 ES writer lambda 的第二个输入,然后 运行 一些 python 代码或类似代码以从数据库加载所有现有数据进入运动流。
与仅使用 Logstash 涵盖这两种情况相比,这似乎很复杂,而且成本可能更高。