使用 AWS Glue Crawler 时出现 RecrawlPolicy 问题

Question

我正在使用 API 创建一个 AWS glue 爬虫，我已经创建了一个爬虫并且运行良好。现在我想为它实现 IncrementalCrawler 功能。当我尝试为 update_crawler() 提供 Recrawler 参数时，它向我抛出错误。 create_crawler() 也发生了同样的事情。

我的代码

`crawler_args = {"Name": args['CRAWLER_NAME'], "Role": args['IAM_ROLE'], "DatabaseName": args['DB_NAME'],"RecrawlPolicy": {"RecrawlBehavior": "CRAWL_NEW_FOLDERS_ONLY"}
                "Targets":
                    {"S3Targets": [{"Path": f"s3:/../{src_obj}/"}]},
                "TablePrefix": ""}
    glue.create_crawler(**crawler_args)`

"参数验证失败：输入中的未知参数：“RecrawlPolicy”，必须是以下之一：名称、角色、数据库名称、说明、目标、计划、分类器、TablePrefix、SchemaChangePolicy、配置、CrawlerSecurityConfiguration

我相信这是因为我使用的是boto3版本，如果是这种情况如何将boto3更新到最新版本。

Answer 1

你好像少了一个逗号，你试试看：

crawler_args = {"Name": args['CRAWLER_NAME'], "Role": args['IAM_ROLE'], "DatabaseName": args['DB_NAME'],"RecrawlPolicy": {"RecrawlBehavior": "CRAWL_NEW_FOLDERS_ONLY"},
                "Targets":
                    {"S3Targets": [{"Path": f"s3:/../{src_obj}/"}]},
                "TablePrefix": ""}

使用 AWS Glue Crawler 时出现 RecrawlPolicy 问题

RecrawlPolicy issue while using AWS Glue Crawler

web-crawler

amazon-web-services

boto3

aws-glue