GCP：自动缩放至零的 AI ML 服务
GCP: IA ML serving with autoscaling to zero
我想尝试 GCP 的 ML 服务 AI 平台，但我希望节点仅在调用预测时扩展。
我在documentation here中看到：
If you select "Auto scaling", the optional Minimum number of nodes field displays. You can enter the minimum number of nodes to keep running at all times, when the service has scaled down. This field defaults to 0.
但是当我尝试创建我的模型版本时，它显示一个错误告诉我这个字段应该 > 1。
这是我尝试过的：
- 名称：testv1
- 预建容器
- Python 3.7
- 框架 Tensorflow
- TF 版本 2.4.0
- ML 2.4
- 缩放自动缩放
- 最小节点 nb 0
- 机器类型 n1-standard-4
- GPU TESLA_K80 * 1
我试图重现你的案例并发现了同样的事情，我无法将 Minimum number of nodes 设置为 0。
这似乎是一个过时的文档问题。正在进行的 Feature Request 解释了可以设置至少 0 台旧机器类型的机器，并请求使此选项也可用于当前类型。
另一方面，我继续开票更新文档。
作为一种解决方法，您可以在需要时立即部署模型，然后继续 un-deploy 它们。请注意，取消部署最多可能需要 45 分钟，因此建议等待 1 小时重新部署该模型以避免任何问题。
我想尝试 GCP 的 ML 服务 AI 平台，但我希望节点仅在调用预测时扩展。
我在documentation here中看到：
If you select "Auto scaling", the optional Minimum number of nodes field displays. You can enter the minimum number of nodes to keep running at all times, when the service has scaled down. This field defaults to 0.
但是当我尝试创建我的模型版本时，它显示一个错误告诉我这个字段应该 > 1。
这是我尝试过的：
- 名称：testv1
- 预建容器
- Python 3.7
- 框架 Tensorflow
- TF 版本 2.4.0
- ML 2.4
- 缩放自动缩放
- 最小节点 nb 0
- 机器类型 n1-standard-4
- GPU TESLA_K80 * 1
我试图重现你的案例并发现了同样的事情，我无法将 Minimum number of nodes 设置为 0。
这似乎是一个过时的文档问题。正在进行的 Feature Request 解释了可以设置至少 0 台旧机器类型的机器，并请求使此选项也可用于当前类型。
另一方面，我继续开票更新文档。
作为一种解决方法，您可以在需要时立即部署模型，然后继续 un-deploy 它们。请注意，取消部署最多可能需要 45 分钟，因此建议等待 1 小时重新部署该模型以避免任何问题。