Aws Sagemaker 如何为端点提供多实例环境和负载均衡

how does Aws Sagemaker provides multi instance environment and load balancing for endpoints

我已经在 AWS Sagemaker 上成功部署了我的 jupyter notebook, 并为预测算法(用例)创建了端点。 我想知道如何在 AWS Sagemaker 中实现多实例环境以及端点上多个请求的负载平衡。

如果问题无效,请告诉我。

您可能是这样创建端点的:

预测变量=estimator.deploy(initial_instance_count=1, instance_type='ml.m4.xlarge')

如果您将 initial_instance_count 设置为大于 1,SageMaker 会自动将该数量的实例分配给您的终端节点。预测请求会自动负载平衡,没有别的需要。

如果需要,您还可以设置自动缩放来处理流量变化:https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html