阿帕奇风暴 S3 螺栓

Question

我的要求是定期在S3 中存储日志文件，我们使用的是Storm 和Kafka。挑战是我通过 Kafka 获取 JSON 格式的日志，需要创建该对象的文件，然后在每个特定时间间隔后需要收集所有文件，将其压缩并存储在 S3 上。 如果有人以前这样做过，请分享。 此要求也欢迎其他替代方案。 提前致谢...

Answer 1

1. 获取持续 X 分钟的所有对象
2. 将它们存储在 NoSql 数据库中
3. 其他螺栓每 X 分钟到期一次触发压缩并上传到 S3
4. X 分钟清除 Db