AWS Data Pipeline:如何添加数据节点和活动以外的步骤
AWS Data Pipeline: how to add steps other than data nodes and activities
编辑
我真正想问的是,大多数人是使用 "Architect" GUI 来构建他们的管道,还是大多数人只使用 JSON。 JSON 是访问某些功能的唯一途径吗?
/编辑
我刚刚开始使用 AWS,所以我希望这里有人能帮助我。
我已经使用 "Load S3 Data into RDS MySQL table" 的模板创建了一个基本的管道,可以执行非常简单的插入:
出于学习目的,我想从头开始重新创建该管道,但我不知道如何向管道添加任何不是 activity 或数据节点的内容。这是否必须通过 CLI 完成?当我尝试使用 Architect 中的 "Add" 按钮时,我只看到活动和数据节点的选项。
TaskRunners、先决条件、数据库、操作和资源只能从各自的活动和数据节点添加到管道。
例如,RDSDatabase
可以从 SqlActivity
或 SqlDataNode
或 MySqlDataNode
添加到管道中。
添加 SqlActivity
-- 选择 Database
-- Create new: Database
: 将数据库对象添加到管道。
Database
-- 选择 Type
-- Select type: RDSDatabase
编辑
我真正想问的是,大多数人是使用 "Architect" GUI 来构建他们的管道,还是大多数人只使用 JSON。 JSON 是访问某些功能的唯一途径吗?
/编辑
我刚刚开始使用 AWS,所以我希望这里有人能帮助我。
我已经使用 "Load S3 Data into RDS MySQL table" 的模板创建了一个基本的管道,可以执行非常简单的插入:
出于学习目的,我想从头开始重新创建该管道,但我不知道如何向管道添加任何不是 activity 或数据节点的内容。这是否必须通过 CLI 完成?当我尝试使用 Architect 中的 "Add" 按钮时,我只看到活动和数据节点的选项。
TaskRunners、先决条件、数据库、操作和资源只能从各自的活动和数据节点添加到管道。
例如,RDSDatabase
可以从 SqlActivity
或 SqlDataNode
或 MySqlDataNode
添加到管道中。
添加 SqlActivity
-- 选择 Database
-- Create new: Database
: 将数据库对象添加到管道。
Database
-- 选择 Type
-- Select type: RDSDatabase