批处理或流处理的数据流部分中的 FlexRS 类型在哪里?

Where is FlexRS type in dataflow part of batch or stream processing?

我在查看 Google Cloud Platform 的数据流时对 FlexRS 类型有疑问。 :)

据我所知,dataflow支持batch和stream,但我很好奇知道还有FlexRS类型

简单地理解 FlexRS 很难在文档中识别出来,只是它比典型的工作流便宜。

我可以请你解释一下 FlexRS 吗?

谢谢。

Dataflow 是一种完全托管的批处理和流分析服务,可通过自动缩放最大限度地减少延迟和处理时间。

关于Dataflow的FlexRS,您可以将其用于对时间要求不高的批处理管道,例如可以在特定时间内完成的每日或每周作业-window。通常,Dataflow 会同时使用可抢占的和常规的 worker 来执行您的工作。它考虑了可抢占 VM 的可用性,并且您根据 documentation.

收费

另一方面,FlexRS 为 CPU 提供折扣率,并为批处理提供内存定价。它可以将您的 Dataflow 批处理作业延迟 6 小时 window 以根据资源的可用性确定启动作业的最佳时间点。启用后,默认情况下,FlexRS 会为工作池中 90% 的工作人员选择抢占式 VM。

因此,FlexRS 仅用于非时间关键型批处理工作负载。