Flink-Kafka Flink job 启动时读取kafka记录,在AWS-KDA上启动失败

Flink-Kafka Flink job reading kafka records during startup and failing to start on AWS-KDA

运行 KDA 上的 Flink-Beam 作业(kakfa --> flink(beam) --> ElasticSearch)简单的作业不会在 KDA 上启动并进入无限循环。 AWS KDA Support 回复说 Job 在启动期间读取记录,这是失败的原因。

应用程序的 dockerized 版本在 kubernetes 中使用 3 个任务管理器运行流畅,但在 KDA 上运行不流畅。 因为 KDA 有 2 分钟的超时时间来开始工作。

根据我的理解,一旦作业启动,Flink 就会开始读取记录,我如何将启动时间减少到 2 分钟以内,因为作业是非常基本的从 kafka 读取记录并存储到 ES。

我解决了这个问题,基本上 Beam 默认使用直接运行器。

设置 --runner=FlinkRunner 以将作业作为 flink 作业启动很重要。

否则作业将无限循环读取kafka主题。