Flink - AWS 上的外部检查点

Question

我计划在 AWS Kinesis Analytics 上使用 Flink 为 Java 应用程序执行有状态流聚合。

我想将检查点保存到持久存储中。我有哪些选择？

• 我可以通过 FsStateBackend 使用 S3 吗？

• RocksSB 怎么样？ AWS Kineses Analytics 是否为 Java 应用程序提供了 RocksDB？

谢谢！

Answer 1

关于 Java 应用程序的 Kinesis Data Analytics 中的 Flink 检查点，this article 展示了如何配置 S3 存储桶的检查点。好像S3是AWS推荐的持久化存储

您可以看到 FsStateBackend 在 Flink's official docs 中支持 S3。

Answer 2

可以，可以使用FsStateBackend将Flink的checkpoints存储到s3 bucket中，Flink的official document.

推荐

请找到我提供的详细工作答案 .