GCP 自动缩减保护
GCP Autoscale Down Protection
所以我有一组较长的 运行ning 任务,这些任务必须 运行 在 Compute Engine 上并且必须扩展。每项任务大约需要 3 小时。所以为了处理这个我考虑使用:
https://cloud.google.com/solutions/using-cloud-pub-sub-long-running-tasks
建筑学。虽然它运行良好,但存在一个大问题。在缩小规模时,我真的很想避免缩小当前 运行ning 的任务!我可能会损失 3 小时的处理时间。
有没有办法确保自动缩减不会缩减具有较长 运行ning/正常运行时间的 VM?
编辑:一些人要求详细说明我的任务。所以它类似于上面 link 中描述的内容,它是许多需要在 GPU 上 运行 的长期 运行ning 任务。有一大块数据需要处理。它需要 4 个小时(视频编码),然后一旦完成,它就会输出到一个桶中。好吧,根据视频的长度,它可能需要 1 到 6 个小时。就像上面的架构一样,根据队列大小扩展集群会很好。但是在缩减规模时,我想确保它不会缩减当前正在发生的 运行ning 任务。它受 GPU 限制,不允许我使用 CPU 指标。
我认为您应该添加更多关于您的任务类型的详细信息 运行。但是,正如@Jhon Hanley 的建议,值得一看 Cloud Tasks and see as well the following documentation that talks about the scaling risks.
所以我有一组较长的 运行ning 任务,这些任务必须 运行 在 Compute Engine 上并且必须扩展。每项任务大约需要 3 小时。所以为了处理这个我考虑使用:
https://cloud.google.com/solutions/using-cloud-pub-sub-long-running-tasks
建筑学。虽然它运行良好,但存在一个大问题。在缩小规模时,我真的很想避免缩小当前 运行ning 的任务!我可能会损失 3 小时的处理时间。
有没有办法确保自动缩减不会缩减具有较长 运行ning/正常运行时间的 VM?
编辑:一些人要求详细说明我的任务。所以它类似于上面 link 中描述的内容,它是许多需要在 GPU 上 运行 的长期 运行ning 任务。有一大块数据需要处理。它需要 4 个小时(视频编码),然后一旦完成,它就会输出到一个桶中。好吧,根据视频的长度,它可能需要 1 到 6 个小时。就像上面的架构一样,根据队列大小扩展集群会很好。但是在缩减规模时,我想确保它不会缩减当前正在发生的 运行ning 任务。它受 GPU 限制,不允许我使用 CPU 指标。
我认为您应该添加更多关于您的任务类型的详细信息 运行。但是,正如@Jhon Hanley 的建议,值得一看 Cloud Tasks and see as well the following documentation that talks about the scaling risks.