AwsGlueCrawlerOperator 配置字典

Question

因此，我尝试从我的 DAG 启动 Glue 爬虫并等待它完成，然后再继续我的工作流程。无法弄清楚 Airflow 在配置参数中的期望。

这是我的代码：

run_crawler = AwsGlueCrawlerOperator(task_id="run_crawler",
                                                 aws_conn_id=aws_secret, config={???},
                                                 crawler_name ="name_of_crawler",
                                                 poll_interval=60, priority_weight=3)

最初，我输入 {"crawler_name":"name_of_crawler", "iam_role":"iam_role_name} 其他设置不变。但是它抱怨我在字典中引用爬虫名称。拿出来还是没有骰子

有谁知道此运算符的配置字典中包含什么，或者从 aws 帐户上的本地 docker 实例启动粘合爬虫？我在变量 aws_secret.

中引用的连接中有凭据

提前致谢

Answer 1

从 code 看来 config 中的名称应该在 Name 键下而不是 crawler_name 下。此外，我认为此运算符不接受您在示例中传递的 crawler_name 参数。