无法使用 create_dynamic_frame.from_catalog 从 AWS 粘合作业访问使用分区投影配置的表中的数据
Unable to access data in tables configured using Partition Projection from AWS glue jobs using create_dynamic_frame.from_catalog
我使用分区投影在 Athena 中设置了一个 table。我没有在胶水元数据目录中定义任何分区，我可以使用 SQL.
在 Athena OK 中查看数据
当我使用此 table 设置 Glue 作业时，Glue 似乎无法访问数据：
data = glueContext.create_dynamic_frame.from_catalog(
database="db", table_name="a_table")
print (data.count()) # returns 0 :(
有没有什么方法可以在不需要定义 Glue 元数据分区的情况下访问数据？我的印象是，如果 Athena 可以看到数据，那么 Glue 也可以。
Glue 不支持分区投影，这是 Athena 独有的功能。
Glue ETL 使用 Spark，而 Athena 是引擎盖下的 Presto（经过修改，包括分区投影）。 Glue ETL 也不支持 Athena 视图和其他各种小东西。
我使用分区投影在 Athena 中设置了一个 table。我没有在胶水元数据目录中定义任何分区，我可以使用 SQL.
在 Athena OK 中查看数据当我使用此 table 设置 Glue 作业时，Glue 似乎无法访问数据：
data = glueContext.create_dynamic_frame.from_catalog(
database="db", table_name="a_table")
print (data.count()) # returns 0 :(
有没有什么方法可以在不需要定义 Glue 元数据分区的情况下访问数据？我的印象是，如果 Athena 可以看到数据，那么 Glue 也可以。
Glue 不支持分区投影，这是 Athena 独有的功能。
Glue ETL 使用 Spark，而 Athena 是引擎盖下的 Presto（经过修改，包括分区投影）。 Glue ETL 也不支持 Athena 视图和其他各种小东西。