使用 AWS Datapipeline 将 DynamoDB 导出到 S3 数据

Question

我有一个 DynamoDB table 存储 1Gb 的数据。 RCU 和 WCU 各为 1000。 我设置了一个数据管道来将这 1 GB 的数据导出到 s3。整个1GB数据导出到s3 在分区中。我的问题是什么决定了这些分区的数量和大小？

Answer 1

mightyMouse,

在他最近的视频“AWS Re:Invent Amazon DynamoDB 高级设计模式 – 第 1 部分”中，Rick Houlihan 演示了在 table 创建时设置 100k WCU 预置容量，并提到每额外预置 1000 个 WCU 将添加 1 个分区，因此他的 table 从大约 100 个分区开始。分区在内部限制为 10gb，如果一个分区达到此限制，则分成两个分区，否则它们将保持在一个分区内。这表明您的所有数据可能仍然位于一个分区内。

这一切似乎abstracted/hidden远离用户，但一般你应该可以计算出估计的分区数。

在按需模式下，AWS 表示他们会自动将 table 的吞吐量提高到之前限制的两倍。措辞有点奇怪，但我相信这最终会导致他们为您创建更多分区，因为查询或写入分区的速度快于它可以处理的速度。

需要注意的是，很多人都提到一旦配置了一个分区，您可以将 WCU 的数量减少到您实际需要的数量，并且仍然保留配置的分区。