如何在 aws glue 中进行模式演化?
How to do schema evolution in aws glue?
我使用爬虫在 aws glue 中创建了一个 table,然后在 s3 中添加了一个具有不同架构的分区并再次 运行 爬虫。
当我从分区视图查看分区的架构时,它显示了新架构,但 table 的架构保持不变。
粘合中的模式演化如何工作? glue 何时更新 table 的架构(如果有的话)?
这完全取决于您如何配置您的爬虫。爬虫的最后一个屏幕(配置爬虫的输出)将有一个配置选项下拉列表,您必须根据需要在其中指定要求。这是下面的对话:
我使用爬虫在 aws glue 中创建了一个 table,然后在 s3 中添加了一个具有不同架构的分区并再次 运行 爬虫。
当我从分区视图查看分区的架构时,它显示了新架构,但 table 的架构保持不变。
粘合中的模式演化如何工作? glue 何时更新 table 的架构(如果有的话)?
这完全取决于您如何配置您的爬虫。爬虫的最后一个屏幕(配置爬虫的输出)将有一个配置选项下拉列表,您必须根据需要在其中指定要求。这是下面的对话: