Dataflow Streaming 自动缩放究竟何时开始发生?
When exactly does Dataflow Streaming autoscaling start happening?
因此,根据文档“如果流式传输管道仍然积压,工作人员平均使用超过 CPUs 的 20%,持续几分钟,数据流就会扩大”(https://cloud.google.com/dataflow/docs/guides/deploying-a-pipeline#autoscaling).
Dataflow 开始扩展时是否有确切的时间范围?
因为我使用 Streaming Engine 测试了我的流媒体作业(默认情况下有 1 个工作人员)以查看自动缩放是否有效以及工作人员数量是否增加但在 CPU 利用率超过 20% 之后超过6分钟。并且在相同的时间(大约 6 分钟)内积压来自 PubSub 的未确认消息,当前工作人员的数量保持为 1,并且没有发生自动缩放。
关于数据流中作业指标下的自动缩放图表,它对我说:“当前工作人员:1,目标工作人员:1”。
“目标工人”是什么意思,与现有工人有什么区别?
在此先感谢您的帮助。
关于自动缩放图表。
- 当前工作人员 - 流水线当前使用的工作人员数量
- 目标工作人员 - Dataflow 自动缩放算法建议的工作人员数量。可以是高档的也可以是低档的。 Pipeline 正在努力实现这一目标。
关于缩放决策的时间,我认为这里的 Dataflow 服务不能提供确切的保证。请参考 Streaming Autoscaling 相关文档 here。如果您认为是否存在与自动缩放相关的问题,请联系 Dataflow 支持,以便他们可以查看您的特定管道。
因此,根据文档“如果流式传输管道仍然积压,工作人员平均使用超过 CPUs 的 20%,持续几分钟,数据流就会扩大”(https://cloud.google.com/dataflow/docs/guides/deploying-a-pipeline#autoscaling). Dataflow 开始扩展时是否有确切的时间范围?
因为我使用 Streaming Engine 测试了我的流媒体作业(默认情况下有 1 个工作人员)以查看自动缩放是否有效以及工作人员数量是否增加但在 CPU 利用率超过 20% 之后超过6分钟。并且在相同的时间(大约 6 分钟)内积压来自 PubSub 的未确认消息,当前工作人员的数量保持为 1,并且没有发生自动缩放。
关于数据流中作业指标下的自动缩放图表,它对我说:“当前工作人员:1,目标工作人员:1”。 “目标工人”是什么意思,与现有工人有什么区别?
在此先感谢您的帮助。
关于自动缩放图表。
- 当前工作人员 - 流水线当前使用的工作人员数量
- 目标工作人员 - Dataflow 自动缩放算法建议的工作人员数量。可以是高档的也可以是低档的。 Pipeline 正在努力实现这一目标。
关于缩放决策的时间,我认为这里的 Dataflow 服务不能提供确切的保证。请参考 Streaming Autoscaling 相关文档 here。如果您认为是否存在与自动缩放相关的问题,请联系 Dataflow 支持,以便他们可以查看您的特定管道。