使用 AWS glue 将数据从 S3 加载到 Elasticsearch

Question

我在 S3 存储桶中有多个文件夹，每个文件夹包含一个 JSON 行文件。

我想用这些数据做两件事

1. 应用一些转换并获取表格数据并将其保存到某个数据库。
2. 保存这些 json 个对象，因为它是用于 Elasticseach 集群的全文搜索

我正在使用 AWS glue 完成此任务，我知道如何执行 1，但是，我找不到任何关于使用 AWS glue 从 s3 获取数据并将其存储到 elasticsearch 的资源。

有办法吗？

Answer 1

如果有人正在寻找这个问题的答案，那么我使用 Logstash 将文件加载到 Elasticsearch。