Aws Sagemaker 如何为端点提供多实例环境和负载均衡
how does Aws Sagemaker provides multi instance environment and load balancing for endpoints
我已经在 AWS Sagemaker 上成功部署了我的 jupyter notebook,
并为预测算法(用例)创建了端点。
我想知道如何在 AWS Sagemaker 中实现多实例环境以及端点上多个请求的负载平衡。
如果问题无效,请告诉我。
您可能是这样创建端点的:
预测变量=estimator.deploy(initial_instance_count=1,
instance_type='ml.m4.xlarge')
如果您将 initial_instance_count 设置为大于 1,SageMaker 会自动将该数量的实例分配给您的终端节点。预测请求会自动负载平衡,没有别的需要。
如果需要,您还可以设置自动缩放来处理流量变化:https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html
我已经在 AWS Sagemaker 上成功部署了我的 jupyter notebook, 并为预测算法(用例)创建了端点。 我想知道如何在 AWS Sagemaker 中实现多实例环境以及端点上多个请求的负载平衡。
如果问题无效,请告诉我。
您可能是这样创建端点的:
预测变量=estimator.deploy(initial_instance_count=1, instance_type='ml.m4.xlarge')
如果您将 initial_instance_count 设置为大于 1,SageMaker 会自动将该数量的实例分配给您的终端节点。预测请求会自动负载平衡,没有别的需要。
如果需要,您还可以设置自动缩放来处理流量变化:https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html