Dataflow Streaming 自动缩放究竟何时开始发生?

When exactly does Dataflow Streaming autoscaling start happening?

因此,根据文档“如果流式传输管道仍然积压,工作人员平均使用超过 CPUs 的 20%,持续几分钟,数据流就会扩大”(https://cloud.google.com/dataflow/docs/guides/deploying-a-pipeline#autoscaling). Dataflow 开始扩展时是否有确切的时间范围?

因为我使用 Streaming Engine 测试了我的流媒体作业(默认情况下有 1 个工作人员)以查看自动缩放是否有效以及工作人员数量是否增加但在 CPU 利用率超过 20% 之后超过6分钟。并且在相同的时间(大约 6 分钟)内积压来自 PubSub 的未确认消息,当前工作人员的数量保持为 1,并且没有发生自动缩放。

关于数据流中作业指标下的自动缩放图表,它对我说:“当前工作人员:1,目标工作人员:1”。 “目标工人”是什么意思,与现有工人有什么区别?

在此先感谢您的帮助。

关于自动缩放图表。

  • 当前工作人员 - 流水线当前使用的工作人员数量
  • 目标工作人员 - Dataflow 自动缩放算法建议的工作人员数量。可以是高档的也可以是低档的。 Pipeline 正在努力实现这一目标。

关于缩放决策的时间,我认为这里的 Dataflow 服务不能提供确切的保证。请参考 Streaming Autoscaling 相关文档 here。如果您认为是否存在与自动缩放相关的问题,请联系 Dataflow 支持,以便他们可以查看您的特定管道。