AWS EMR 在日志登陆 S3 时立即处理
AWS EMR process immediately as log lands in S3
我的实际实施包括 Device Farm 和 EMR。 Device Farm 生成日志并将它们保存在 S3 中，我希望 EMR 立即提取它们并进行处理（最终目标是将生成的结构化信息放入 DynamoDB）。
最好的方法是什么？如果不集成另一个检查 S3 中是否没有新日志的东西，是否可以做到这一点？
您可以在 S3 存储桶上使用事件。创建一个事件即。每当创建新对象（日志文件）时；调用 lambda 或 SNS 通知（进而调用 EMR）
我的实际实施包括 Device Farm 和 EMR。 Device Farm 生成日志并将它们保存在 S3 中，我希望 EMR 立即提取它们并进行处理（最终目标是将生成的结构化信息放入 DynamoDB）。
最好的方法是什么？如果不集成另一个检查 S3 中是否没有新日志的东西，是否可以做到这一点？
您可以在 S3 存储桶上使用事件。创建一个事件即。每当创建新对象（日志文件）时；调用 lambda 或 SNS 通知（进而调用 EMR）