如何从 Sagemaker 读取 AWS S3 图像进行处理

Question

我的 S3 存储桶中有大约 10000 张图像。我需要将这些图像中的每一个剪切成 12 个较小的图像，并将它们保存在 S3 存储桶中的另一个文件夹中。我想通过 AWS Sagemaker 执行此操作。我无法从 Sagemaker Jupter 笔记本的 S3 存储桶中读取图像。我有切割图像的代码。

在读取图像并将它们从 S3 存储回 S3 方面需要帮助Sagemaker.Is是否可以做到这一点，而且效率很高？

Answer 1

您可以将图像带到 SageMaker 实例的本地存储库（例如 /home/ec2-user/SageMaker/Pics/ 使用以下命令：

aws s3 sync s3://pic_folder_in_s3 /home/ec2-user/SageMaker/Pics

或 python:

import subprocess as sb

sb.call('aws s3 sync s3://pic_folder_in_s3 /home/ec2-user/SageMaker/Pics'.split())

请注意，为了进行传输，您的 SageMaker 实例所承载的角色必须有权从此 S3 位置进行读取