AWS Data Pipeline 未创建所有从属/核心实例节点

Question

我尝试过使用 CLI 和 GUI 创建 AWS 数据管道。无论哪种方式，当我指定多个从属节点时，都无法正确创建它。这是一个示例定义：

{
    "name": "EmrClusterForLoad",
    "coreInstanceCount": "16",
    "coreInstanceType": "r3.xlarge",
    "releaseLabel": "emr-5.13.0",
    "id": "EmrClusterForLoad",
    "masterInstanceType": "r3.xlarge",
    "region": "#{myDDBRegion}",
    "type": "EmrCluster"
},

有什么建议或想法吗？

Answer 1

我能想到的唯一原因，如果您正在用尽您帐户的 EC2 资源limit. Datapipeline honors 这个限制。

如果你没有用尽限制，那么去 EMR 的 AWS 控制台，找到相应的启动集群 >> 调试 >> 检查日志中的步骤，看看是否有什么突出的地方。
您也可以直接从控制台启动 EMR 集群，看看是否可以启动超过 1 个从属核心节点。
除了你看起来不错的配置之外，我建议联系 AWS 支持以进行进一步调试。

Answer 2

奇怪。我认为这可能是一个错误。 "fix" 是将 "Resize Cluster Before Running:" 的值从 true 更改为 false。如果这不是错误，那么我不确定我是否理解该选项。

如果您通过 CLI 创建管道，则条目为：

"resizeClusterBeforeRunning": "false"

当我更改此值时，EC2 实例突然开始创建。

AWS Data Pipeline 未创建所有从属/核心实例节点

AWS Data Pipeline is not creating all slave / core instance nodes

amazon-web-services

amazon-emr

amazon-data-pipeline