我对 DataFusion 数据管道有疑问

Question

我对 DataFusion 数据管道有疑问。

我用的是DataFusion企业版。

当我在DataFusion的Studio中创建数据管道时，您可以直接在config中设置出口和驱动程序的CPU和内存值。

到现在为止，我知道如果我创建一个数据管道，我将为每个数据管道创建一个 VM 实例。

不过，我刚刚看到创建了多少VM作为Worker节点，Master节点。

那么，在创建数据管道时，CPU和出口和驱动程序的内存是什么意思？

Answer 1

对于 Spark 管道 运行，Data Fusion 将启动一个具有多个执行程序的驱动程序，通常与工作节点的数量相对应（但并非总是如此）。通常，每个工作节点执行一个执行程序。因此，驱动程序和执行程序的 CPU 和内存设置为每个执行程序和驱动程序的 运行 设置了 CPU 数量和内存量的上限。

实际上，如果您为执行程序设置的内存或 CPU 高于工作节点中的可用内存或 CPU，则可能无法达到此上限。