暂停或大幅降低 Flink (Kafka) 源代码的速度，直到依赖项准备就绪

Question

我正在设计一个 Flink 作业，基本上它会：

• 从 Kafka 读取消息
• 通过从外部服务请求更多信息来处理传入消息的数据——例如，进行一些 HTTP/gRPC 调用、检索一些数据、进行一些聚合并将部分结果存储在数据库中
• 将结果传播到 Elasticsearch

我不清楚的是，当其中一个 (RESTful / gRPC) 服务出现故障，或者只是降低它们的性能时，如何减慢或完全暂停 Flink 作业读取 Kafka 消息.

有没有办法通过使用一些配置设置或一些 Flink 内置组件来实现？

Answer 1

由于backpressure，Flink 会自动降低从Kafka 读取数据的速率。当进行 REST/gRPC 调用的函数跟不上来自 Kafka 的数据时，它的输入网络缓冲区将填满，并且数据从 Kafka 源“推送”到该运算符将延迟到 space 打开。