EMR 在 Step Functions 上管理自动缩放

Question

是否有人尝试过在 Step Function 上创建具有托管自动缩放​​功能的 EMR 集群？也许我遗漏了什么，但是 in the documentation 没有提到如何实现这一点。这甚至受支持吗？

Answer 1

我自己没有尝试过，但从阅读文档来看，它似乎是受支持的。如果您查看示例 create cluster here it follows the standard RunJobFlow 语法。在定义的创建集群示例中，它具有以下 LogUri：

"LogUri": "s3n://aws-logs-123456789012-us-east-1/elasticmapreduce/",

因此，在 JSON 中的同一级别，您可以这样添加 ManagedScalingPolicy：

"LogUri": "string",
"ManagedScalingPolicy": { 
  "ComputeLimits": { 
     "MaximumCapacityUnits": number,
     "MaximumCoreCapacityUnits": number,
     "MaximumOnDemandCapacityUnits": number,
     "MinimumCapacityUnits": number,
     "UnitType": "string"
  }
},

然后应该使用托管扩展策略启动集群，只要您在队列配置中定义了实例类型，那么托管扩展就应该启动，假设您 运行 集群上有足够的工作负载来触发缩放事件。