Flink 中的 Taskmanager、Task、Slots、Parallelism、CPU cores 是什么?
What is Taskmanager, Task, Slots, Parallelism, CPU cores in Flink?
谁能帮我理解 Flink 应用程序中任务槽、并行度和 cpu 核之间的含义和区别?
此外,如果我有一个包含 1 个主节点和 4 个核心节点的 EMR 集群。每个核心节点都有 4 个 vCore、8 GiB 内存和 EBS Storage:64 GiB。
我的代码中有 7 个平面图函数。 (我没有更改任何默认配置)
我希望有人帮助我了解有多少任务管理器、并行度、任务和任务槽可用于我的工作?
有关定义,请参阅 and https://ci.apache.org/projects/flink/flink-docs-release-1.9/concepts/glossary.html。
要了解您的特定集群是如何配置的,最简单的方法是查看其 web interface。在那里你会找到这样的概述
并且您还会找到任务管理器及其资源的列表,类似这样
一个任务槽具有 运行 您应用程序的一个并行切片的资源;任务槽的总数与集群的最大并行度相同。通常每个任务管理器有一个插槽,每个任务插槽有一个 CPU 核心,但这可以不同地配置;我不知道 EMR 默认值是多少。
您还应该检查作业图,它看起来像这样
看看它的拓扑结构是什么样的,以及它的运算符需要什么样的并行性。
谁能帮我理解 Flink 应用程序中任务槽、并行度和 cpu 核之间的含义和区别?
此外,如果我有一个包含 1 个主节点和 4 个核心节点的 EMR 集群。每个核心节点都有 4 个 vCore、8 GiB 内存和 EBS Storage:64 GiB。 我的代码中有 7 个平面图函数。 (我没有更改任何默认配置) 我希望有人帮助我了解有多少任务管理器、并行度、任务和任务槽可用于我的工作?
有关定义,请参阅
要了解您的特定集群是如何配置的,最简单的方法是查看其 web interface。在那里你会找到这样的概述
一个任务槽具有 运行 您应用程序的一个并行切片的资源;任务槽的总数与集群的最大并行度相同。通常每个任务管理器有一个插槽,每个任务插槽有一个 CPU 核心,但这可以不同地配置;我不知道 EMR 默认值是多少。
您还应该检查作业图,它看起来像这样
看看它的拓扑结构是什么样的,以及它的运算符需要什么样的并行性。