以编程方式触发 AWS Lake Formation 工作流

Trigger AWS Lake Formation Workflow programmatically

在文档中,我没有找到以编程方式触发工作流的提及(例如,将数据从 RDBMS 加载到 S3)。我也没有在 AWS Lake Formation 的 API 规范中找到任何内容。我们正在使用 Airflow 来安排我们的 ETL 管道,如果我们可以通过 API 调用触发工作流,那就太好了。

Lake Formation 用于指定 Glue 目录中表和列的权限。它不管理 ETL。您可以使用 Glue 来设置爬虫以从 RDBMS 下载数据。爬虫可以是 Glue Workflow 的一部分。

参考链接:

Documentation on adding a crawler for RDBMS

Glue API to start a crawler

Glue API to start a workflow