Dataproc 是否有每个作业的资源分配限制

Question

假设我有一个包含 100 个具有特定规格的工作节点的 Dataproc 集群。

当我向 dataproc 提交作业时，每个作业是否有使用分配限制

例如作业 A 不能 运行 超过所有节点总数的 50%

我们有这种限制吗？或者任何作业都可以分配集群的所有资源

Answer 1

DataProc 上没有这样的每个作业限制。一个作业可以使用 YARN 的所有资源，这通常是 DataProc 上各种作业类型的默认配置。但是用户可以根据需要设置每个作业的限制，例如，对于 Spark，禁用动态分配，设置执行器的数量和每个执行器的内存大小。