数据管道 - Dynamo DB 导出
Data Pipeline - Dynamo DB export
我在 DynamoDB 中有一个 table,它有数百万条记录。我已经根据标准创建了二级索引 (GSI),并根据该标准过滤产品。现在,我想使用 AWS 数据管道从 table 查询产品并将其导出到 S3。
问题:
a) 我们能否在管道中指定 GSI 名称 - 因为使用数据管道查询大型 table 由于超时问题而被取消。 [管道配置的最长等待时间为 6 小时,已达到并被取消]?
b) 有没有更好的方法可以使用 GSI 索引从 table 快速创建导出转储?
请分享您的观点。
此致,
基肖尔
我在 DynamoDB 中有一个 table,它有数百万条记录。我已经根据标准创建了二级索引 (GSI),并根据该标准过滤产品。现在,我想使用 AWS 数据管道从 table 查询产品并将其导出到 S3。
问题:
a) 我们能否在管道中指定 GSI 名称 - 因为使用数据管道查询大型 table 由于超时问题而被取消。 [管道配置的最长等待时间为 6 小时,已达到并被取消]? b) 有没有更好的方法可以使用 GSI 索引从 table 快速创建导出转储?
请分享您的观点。
此致, 基肖尔