Sagemaker Studio CPU 用法
Sage Maker Studio CPU Usage
我在 sage maker studio 工作,我有一个实例 运行 一个计算密集型任务:
看来内核 运行 我的任务已达到极限,但实际实例只使用了少量资源。是否发生某种节流?我可以配置它以便使用更多实例吗?
您看到的这些统计数据可能有问题,或者它们显示不同的时间跨度,或者内核在整个实例中分配了特定的资源。
我建议打开一个终端并 运行 top
看看实际发生了什么以及它匹配的 UI 统计数据(注意你打开实例的终端,而不是 Jupyter UI实例终端)。
您的 ml.c5.xlarge 实例附带 4 vCPU。但是,Python 默认只使用一个 CPU。 (来源:)
因此,您的 ml.c5.xlarge 实例的总体 CPU 利用率很低。要利用所有 vCPU,您可以尝试多处理。
以下示例使用 2 vCPU + 4 GiB 实例执行。
第一张图,没有设置多处理。实例 CPU 利用率峰值约为 50%。
单处理:
第二张图,我同时创建了50个进程运行。实例 CPU 利用率立即上升到 100%。
多处理:
我在 sage maker studio 工作,我有一个实例 运行 一个计算密集型任务:
看来内核 运行 我的任务已达到极限,但实际实例只使用了少量资源。是否发生某种节流?我可以配置它以便使用更多实例吗?
您看到的这些统计数据可能有问题,或者它们显示不同的时间跨度,或者内核在整个实例中分配了特定的资源。
我建议打开一个终端并 运行 top
看看实际发生了什么以及它匹配的 UI 统计数据(注意你打开实例的终端,而不是 Jupyter UI实例终端)。
您的 ml.c5.xlarge 实例附带 4 vCPU。但是,Python 默认只使用一个 CPU。 (来源:
因此,您的 ml.c5.xlarge 实例的总体 CPU 利用率很低。要利用所有 vCPU,您可以尝试多处理。
以下示例使用 2 vCPU + 4 GiB 实例执行。
第一张图,没有设置多处理。实例 CPU 利用率峰值约为 50%。
单处理:
第二张图,我同时创建了50个进程运行。实例 CPU 利用率立即上升到 100%。
多处理: