爬虫完成后如何启动 AWS Glue 作业
How to kick off AWS Glue Job when Crawler Completes
我正在尝试了解如何在 AWS Glue 爬虫完成时自动启动 AWS Glue 作业。我看到 Crawlers 在完成时发送事件，但我正在努力解析文档以弄清楚如何侦听该事件，然后启动 AWS Glue 作业。
这似乎是一个相当简单的问题，但到目前为止我还没有找到任何线索。我会很感激一些帮助。提前致谢！
您可以创建一个 CloudWatch 事件，选择 Glue Crawler 状态更改作为事件源，选择一个 Lambda 函数作为事件目标，在 Lambda 函数中您可以使用 boto3（或其他语言 sdk）调用作业以 运行.
使用 AWS Glue Trigger.
对于涉及两个以上步骤的任何内容，我建议使用 AWS Glue Workflows。它们是通过将 Glue 作业、爬虫和触发器链接在一起形成一个可以轻松可视化和监控的工作流而形成的。
我正在尝试了解如何在 AWS Glue 爬虫完成时自动启动 AWS Glue 作业。我看到 Crawlers 在完成时发送事件，但我正在努力解析文档以弄清楚如何侦听该事件，然后启动 AWS Glue 作业。
这似乎是一个相当简单的问题，但到目前为止我还没有找到任何线索。我会很感激一些帮助。提前致谢！
您可以创建一个 CloudWatch 事件，选择 Glue Crawler 状态更改作为事件源，选择一个 Lambda 函数作为事件目标，在 Lambda 函数中您可以使用 boto3（或其他语言 sdk）调用作业以 运行.
使用 AWS Glue Trigger.
对于涉及两个以上步骤的任何内容，我建议使用 AWS Glue Workflows。它们是通过将 Glue 作业、爬虫和触发器链接在一起形成一个可以轻松可视化和监控的工作流而形成的。