AWS Data Pipeline DynamoDB 到 S3 503 减速错误
AWS Data Pipeline DynamoDB to S3 503 SlowDown Error
我们有一个数据管道，每晚将 DynamoDB 复制到 S3 存储桶，因此我们可以 运行 使用 Athena 报告数据。有时，管道会因 503 SlowDown 错误而失败。重试通常会“成功”，但会在 S3 中创建大量重复记录。 DynamoDB 具有按需读取容量，管道具有 0.5 myDDBReadThroughputRatio。这里有几个问题：
我假设减少 myDDBReadThroughputRatio 可能会减轻问题，如果是真的，有没有人有一个良好的比率，仍然会表现良好但不会导致这些错误？
有没有办法防止S3中的重复记录？我不明白为什么会产生这些？ （可能失败的运行的记录没有被删除？）
当然，任何其他 thoughts/solutions 的问题将不胜感激。
谢谢！
使用 AWS Data Pipeline 进行连续备份是 not recommended。
AWS 最近推出了一项新功能，允许您将 DynamoDB table 数据导出到 S3，并可以由 Athena 进一步分析。看看here
您也可以使用亚马逊胶水来做同样的事情(link)。
如果您仍想继续使用数据管道，那么问题似乎是由于 S3 limits being reached 引起的。您可能需要查看是否还有其他请求同时写入 S3，或者您是否可以使用某些配置限制来自管道的请求速率。
我们有一个数据管道，每晚将 DynamoDB 复制到 S3 存储桶，因此我们可以 运行 使用 Athena 报告数据。有时，管道会因 503 SlowDown 错误而失败。重试通常会“成功”，但会在 S3 中创建大量重复记录。 DynamoDB 具有按需读取容量，管道具有 0.5 myDDBReadThroughputRatio。这里有几个问题：
我假设减少 myDDBReadThroughputRatio 可能会减轻问题，如果是真的，有没有人有一个良好的比率，仍然会表现良好但不会导致这些错误？
有没有办法防止S3中的重复记录？我不明白为什么会产生这些？ （可能失败的运行的记录没有被删除？）
当然，任何其他 thoughts/solutions 的问题将不胜感激。
谢谢！
使用 AWS Data Pipeline 进行连续备份是 not recommended。
AWS 最近推出了一项新功能，允许您将 DynamoDB table 数据导出到 S3，并可以由 Athena 进一步分析。看看here
您也可以使用亚马逊胶水来做同样的事情(link)。
如果您仍想继续使用数据管道，那么问题似乎是由于 S3 limits being reached 引起的。您可能需要查看是否还有其他请求同时写入 S3，或者您是否可以使用某些配置限制来自管道的请求速率。