aws数据管道触发aws glue爬虫

Question

我有一个带有 EMR Activity 的 Aws 数据管道，它在 S3 上写入数据。在此过程结束时，它还会将一些元数据写入该位置的特定 S3 文件夹。

有没有办法从数据管道定义中触发 Aws Glue 爬虫 - 它扫描最后一个 S3 位置，以便创建 Aws Athena table？

我在 Aws Data Pipelines 文档中找不到执行此操作的方法。

Answer 1

也许你可以使用 ShellCommandActivity and call aws glue start-crawler。