AWS Sagemaker 推理端点未利用所有 vCPU

Question

我在 sagemaker 推理端点（单实例）上部署了一个自定义模型，在进行负载测试时，我观察到 CPU 利用率指标达到 100%，但根据 this post 它应该达到 #vCPU*100 % 的最大值。我已确认推理端点未使用 clowdwatch 日志中的所有内核。

因此，如果一个预测调用需要处理一秒钟才能给出响应，则部署的模型每秒只能处理一个 API 调用，如果所有 v 都可以增加到每秒 8 个调用CPUs 将被使用。

AWS Sagemaker 部署中是否有任何设置使用所有 vCPU 来增加并发性？

或者我们可以在部署时在 inference.py 文件中使用 multiprocessing python 包，这样每个调用都会到达默认核心，然后所有 calculations/prediction 都在任何其他核心中完成，以任何一个为准在那个时候是空的吗？

Answer 1

更新

设置三个环境变量
1. ENABLE_MULTI_MODEL 为“true”（确保它是字符串而不是布尔值）并设置 SAGEMAKER_HANDLER as custom model handler python module path if custom service else dont define it. Also make sure model name model.mar，然后将其压缩为 tar 球并存储在 s3
2. TS_DEFAULT_WORKERS_PER_MODEL 作为 vcpus 的数量
3. 第一个环境变量确保 torch serve env_vars 已启用，第二个环境变量使用第一个设置并加载请求的工作人员数量
4. 可以通过将 env 字典参数传递给 PyTorch function 来完成设置。下面是关于它为什么有效的解释
从外观上看，Sagemaker SDK guide, uses this dockerfile. In this docker, entrypoint is torchserve-entrypoint.py as in Dockerfile line#124.
中给出的 pytorch 模型的 sagemaker 部署
这个torchserve-entrypoint.py calls serving.main() from serving.py. Which ends up calling torchserve.start_torchserve(handler_service=HANDLER_SERVICE) from torchserve.py.
At line 34 in torchserve.py it defines "/etc/default-ts.properties" as DEFAULT_TS_CONFIG_FILE. This file is located here. In this file enable_envvars_config=true is set. It will use this file setting IFF Environment variable "ENABLE_MULTI_MODEL" is set to "false" as refered here。如果它设置为“true”，那么它将使用 /etc/mme-ts.properties

至于问题Are there any settings in AWS Sagemaker deployment to use all vCPUs to increase concurrency? 您可以使用各种设置对于模型，您可以在环境变量中的 config.properties TS_DEFAULT_WORKERS_PER_MODEL=$(nproc --all) 中设置 default_workers_per_model。环境变量优先。

除了每个模型之外，您可以使用管理 API 设置工人数量，但遗憾的是，无法在 sagemaker 中卷曲到管理 API。所以 TS_DEFAULT_WORKERS_PER_MODEL 是最好的选择。设置此项应确保使用所有内核。

但是，如果您使用的是 docker 文件，那么在入口点您可以设置等待模型加载的脚本并卷曲到它以设置工作人员数量

# load the model
curl -X POST localhost:8081/models?url=model_1.mar&batch_size=8&max_batch_delay=50
# after loading the model it is possible to set min_worker, etc
curl -v -X PUT http://localhost:8081/models/model_1?min_worker=1

关于日志确认并非所有内核都被使用的另一个问题，我遇到了同样的问题并且认为这是日志系统中的问题。请看这个问题https://github.com/pytorch/serve/issues/782。社区本身同意，如果未设置线程，则默认情况下它会打印 0，即使默认情况下它使用 2*num_cores.

所有可能配置的详尽集

# Reference: https://github.com/pytorch/serve/blob/master/docs/configuration.md
# Variables that can be configured through config.properties and Environment Variables
# NOTE: Variables which can be configured through environment variables **SHOULD** have a
# "TS_" prefix
# debug
inference_address=http://0.0.0.0:8080
management_address=http://0.0.0.0:8081
metrics_address=http://0.0.0.0:8082
model_store=/opt/ml/model
load_models=model_1.mar
# blacklist_env_vars
# default_workers_per_model
# default_response_timeout
# unregister_model_timeout
# number_of_netty_threads
# netty_client_threads
# job_queue_size
# number_of_gpu
# async_logging
# cors_allowed_origin
# cors_allowed_methods
# cors_allowed_headers
# decode_input_request
# keystore
# keystore_pass
# keystore_type
# certificate_file
# private_key_file
# max_request_size
# max_response_size
# default_service_handler
# service_envelope
# model_server_home
# snapshot_store
# prefer_direct_buffer
# allowed_urls
# install_py_dep_per_model
# metrics_format
# enable_metrics_api
# initial_worker_port

# Configuration which are not documented or enabled through environment variables

# When below variable is set true, then the variables set in environment have higher precedence.
# For example, the value of an environment variable overrides both command line arguments and a property in the configuration file. The value of a command line argument overrides a value in the configuration file.
# When set to false, environment variables are not used at all
# use_native_io=
# io_ratio=
# metric_time_interval=
enable_envvars_config=true
# model_snapshot=
# version=

AWS Sagemaker 推理端点未利用所有 vCPU

AWS Sagemaker inference endpoint not utilizing all vCPUs

python

machine-learning

amazon-web-services

amazon-sagemaker