在 YARN 集群中提交作业之前,Flink TaskManager 不会启动

Flink TaskManagers do not start until job is submitted in YARN cluster

我正在使用 Amazon EMR 运行 YARN 上的 Flink 集群。我的设置包含 m4.large 个实例,用于 1 个主节点和 2 个核心节点。我已经使用以下命令在 YARN 上启动了 Flink Cluster:flink-yarn-session -n 2 -d -tm 4096 -s 4.

Flink 作业管理器和应用程序管理器启动,但没有任务管理器 运行ning。 Flink Web 界面显示任务管理器、任务槽和可用槽为 0。但是,当我向 flink 集群提交作业时,任务管理器会被分配,作业 运行s 和 Web UI 会按预期显示正确的值,并在作业完成后返回 0。

我希望任务管理器 运行ning 即使没有提交作业,因为我想使用 Flink 的 REST API 根据可用的槽值监控和修改并行度。

是否有我遗漏的配置阻止任务管理器一直 运行ning?

Flink 的行为在 FLIP-6 中被更改为允许动态资源分配。从 Flink 1.5.0 版本开始,可以将 mode: legacy 放在 flink-conf.yaml 到 运行 Flink 的旧模式中,Task Managers 将与 Job Manager 一起启动。