Flink 流作业中的检查点失败（Table/Sql Api）

Question

我的工作流程如下：

Src[Kafka] -> Lookup With Mysql -> 去重（在 proc time 上使用 Top N）-> Upsert Kafka/Mysql

但我的工作是 运行 良好的数据完美地流向 Kafka 和 Mysql 但它在检查点上失败，相同的附加图像。

Ps : 目前我已经禁用了检查点，但是当我启用相同的属性时它失败了

Answer 1

检查点因超时而失败。检查点超时的典型原因是背压，它阻止检查点障碍在执行图中取得足够快的进展。另一种可能是写入检查点存储的带宽或配额不足。

一些想法：

• 增加超时（默认超时为 10 分钟；您的已减少到 2 分钟）
• 启用未对齐的检查点（这应该会减轻背压对检查点时间的影响）
• 找到背压的原因并缓解它（mysql 查找是一个明显的候选者）
• 检查并行子任务是否存在检查点大小、对齐时间等方面的不对称证据，表明由热键、未对齐的水印或其他线索导致的处理偏差