AWS Glue 爬虫 - 分区键类型
AWS Glue crawler - partition keys types
我正在使用 Spark 以 ORC 格式将文件写入 S3。
还使用 Athena 查询此数据。
我正在使用以下分区键：
s3://bucket/company=1123/date=20190207
一旦我在存储桶上对 运行 执行 Glue 爬虫，除分区键的类型外，一切都按预期工作。
爬虫在目录中将它们配置为 String 类型而不是 int
是否有配置来定义分区键的默认类型？
我知道以后可以手动更改它，并将 Crawler 配置设置为 Add new columns only.
Glue 爬虫始终将分区键视为字符串类型，不幸的是，没有可用于更改此行为的配置选项。
我正在使用 Spark 以 ORC 格式将文件写入 S3。 还使用 Athena 查询此数据。
我正在使用以下分区键：
s3://bucket/company=1123/date=20190207
一旦我在存储桶上对 运行 执行 Glue 爬虫，除分区键的类型外，一切都按预期工作。
爬虫在目录中将它们配置为 String 类型而不是 int
是否有配置来定义分区键的默认类型？
我知道以后可以手动更改它，并将 Crawler 配置设置为 Add new columns only.
Glue 爬虫始终将分区键视为字符串类型，不幸的是，没有可用于更改此行为的配置选项。