从 AWS Kinesis Analytics 交付滚动 window 数据的可靠性如何?
How reliable is the delivery of tumbling window data from AWS Kinesis Analytics?
当我使用 Kinesis Analytics SQL 查询按时间块分组分析 Kinesis 流的内容时,我如何确定流中的所有项目都包含在聚合中?假设我在运行时更新查询,分析应用程序输出是否会将 v1 聚合到某个点,然后为 v1 尚未报告的 所有 项目聚合 v2?我在实施过程中出现了一些问题,新节点是否会从前一个节点结束的地方开始准确报告?还是您不应该依赖这些聚合的完整性?
答案发布在 AWS 论坛上,我在其中交叉发布:
请在 https://docs.aws.amazon.com/kinesisanalytics/latest/dev/failover-checkpoint.html
查看服务保证的传送语义
分析服务维护检查点,如果发生更新或发生任何类型的故障,应用程序将从这些检查点恢复。由于设计原因,服务可能会重新处理一些相同的数据并产生重复数据。下游应用程序应该能够处理。
当我使用 Kinesis Analytics SQL 查询按时间块分组分析 Kinesis 流的内容时,我如何确定流中的所有项目都包含在聚合中?假设我在运行时更新查询,分析应用程序输出是否会将 v1 聚合到某个点,然后为 v1 尚未报告的 所有 项目聚合 v2?我在实施过程中出现了一些问题,新节点是否会从前一个节点结束的地方开始准确报告?还是您不应该依赖这些聚合的完整性?
答案发布在 AWS 论坛上,我在其中交叉发布:
请在 https://docs.aws.amazon.com/kinesisanalytics/latest/dev/failover-checkpoint.html
查看服务保证的传送语义分析服务维护检查点,如果发生更新或发生任何类型的故障,应用程序将从这些检查点恢复。由于设计原因,服务可能会重新处理一些相同的数据并产生重复数据。下游应用程序应该能够处理。