Cloud Spanner:意外 CPU 利用率
Cloud Spanner: Unexpected CPU utilization
自 8 个月以来,我们在 Google Cloud Spanner 中 运行 生产数据的一小部分,用于测试和学习有关 Cloud Spanner 的内容。
粗略特征:
- 1 table,40 亿行,大约 600GB 存储大小,每天添加 25mio 行,没有从 table.
中删除任何内容
- 我们确实用低而简单的读取写入了大量数据。
- 每天写入的数据量在不断上升,但上升幅度不大
- 节点数:1(不推荐用于生产,但我感兴趣的是 CPU 利用率的相对变化 - 使用 3 次削减利用率不超过三分之一)
- 我们确实有一些但不是很多相当大的 拆分 可能会超过建议的拆分大小 'some GB' 因为它们大约是 20GB 左右
我们首先注意到的是夜间 CPU 利用率,它与我们产生的负载不直接对应。我认为这是某种重组任务,就像在 Cassandra 中一样。所以我们认为没什么大不了的......
一周前情况开始发生变化,CPU 利用率不断上升。存储空间开始缩小。这很有趣,因为我们只添加数据。 (见图片)
我在想什么:
- 也许一些新版本的云扳手触发了一些全球重组
- 我们的大分裂在重组过程中产生了问题
有人知道这背后的原因吗?
谢谢您的详细介绍post。是的,Cloud Spanner 最近对 reorganization/compaction 做了一些优化。 Cloud Spanner 定期发布 运行 不同领域的优化,作为使用闲置 cpu 资源的后台任务。 Cloud Spanner 确保后台任务不会占用为用户请求提供服务所需的资源。
自 8 个月以来,我们在 Google Cloud Spanner 中 运行 生产数据的一小部分,用于测试和学习有关 Cloud Spanner 的内容。
粗略特征:
- 1 table,40 亿行,大约 600GB 存储大小,每天添加 25mio 行,没有从 table. 中删除任何内容
- 我们确实用低而简单的读取写入了大量数据。
- 每天写入的数据量在不断上升,但上升幅度不大
- 节点数:1(不推荐用于生产,但我感兴趣的是 CPU 利用率的相对变化 - 使用 3 次削减利用率不超过三分之一)
- 我们确实有一些但不是很多相当大的 拆分 可能会超过建议的拆分大小 'some GB' 因为它们大约是 20GB 左右
我们首先注意到的是夜间 CPU 利用率,它与我们产生的负载不直接对应。我认为这是某种重组任务,就像在 Cassandra 中一样。所以我们认为没什么大不了的......
一周前情况开始发生变化,CPU 利用率不断上升。存储空间开始缩小。这很有趣,因为我们只添加数据。 (见图片)
我在想什么:
- 也许一些新版本的云扳手触发了一些全球重组
- 我们的大分裂在重组过程中产生了问题
有人知道这背后的原因吗?
谢谢您的详细介绍post。是的,Cloud Spanner 最近对 reorganization/compaction 做了一些优化。 Cloud Spanner 定期发布 运行 不同领域的优化,作为使用闲置 cpu 资源的后台任务。 Cloud Spanner 确保后台任务不会占用为用户请求提供服务所需的资源。