Google Cloud Dataflow for streaming,dataflow 何时会自动关闭并清理 VM 实例?

Google Cloud Dataflow for streaming, when will dataflow automatically shut down and clean up the VM instances?

根据文档,https://cloud.google.com/dataflow/docs/resources/faq

"However, once your job either completes or fails, the Cloud Dataflow service will automatically shut down and clean up the VM instances."

这对于 Batch 来说很容易理解。但是对于流式传输,pub/sub 消息将不断出现,数据流如何处理?继续关闭和清理 VM 实例效率不高。但是,始终保持 VM 实例 运行 也不符合成本效益。

谢谢

对于流式数据流作业,VM 将继续 运行 直到您结束作业。如果您没有通过 pubsub 的持续消息流,您可能需要查看批处理数据流的 cron 作业 (https://cloud.google.com/blog/products/gcp/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-functions) 或为您的流作业使用较小的工作节点以帮助降低成本。