SageMaker 部署自定义脚本
SageMaker deploy custom script
我是 SageMaker 的新手,所以如果我遗漏了一些明显的东西,我很抱歉。
我训练了一个 DL 模型,它使用视频中的帧进行预测。当前脚本,即 SageMaker jupyter-notebook 中的 运行s,将视频 URL 作为输入并使用 FFMPEG 子进程管道提取帧并在之后预测它们。这工作正常,但现在我想从 Lambda 启动该脚本。
据我所知,我可以使用 sagemaker 部署我的模型并对来自 Lambda 的每一帧进行预测,不幸的是这不是一个选项,因为 ffprobe、ffmpeg 和 numpy 太大而无法适应有限的 lambda space.
tl;dr:是否可以 运行 我的自定义脚本(ffmpeg 帧提取 + tensorflow 模型预测)作为 SageMaker 中的端点?
Sagemaker 允许您使用自定义 Docker 图像 (AWS document)
Build your own custom container image: If there is no pre-built Amazon
SageMaker container image that you can use or modify for an advanced
scenario, you can package your own script or algorithm to use with
Amazon SageMaker.You can use any programming language or framework to
develop your container
- 使用您的代码(FFmpeg、TensorFlow)创建 docker 图像
- 正在本地测试 docker 容器
- 在 Amazon ECR(弹性容器存储库)上部署映像
- 创建 SageMaker 模型并指向图像
详情可参考this tutorial
我是 SageMaker 的新手,所以如果我遗漏了一些明显的东西,我很抱歉。
我训练了一个 DL 模型,它使用视频中的帧进行预测。当前脚本,即 SageMaker jupyter-notebook 中的 运行s,将视频 URL 作为输入并使用 FFMPEG 子进程管道提取帧并在之后预测它们。这工作正常,但现在我想从 Lambda 启动该脚本。
据我所知,我可以使用 sagemaker 部署我的模型并对来自 Lambda 的每一帧进行预测,不幸的是这不是一个选项,因为 ffprobe、ffmpeg 和 numpy 太大而无法适应有限的 lambda space.
tl;dr:是否可以 运行 我的自定义脚本(ffmpeg 帧提取 + tensorflow 模型预测)作为 SageMaker 中的端点?
Sagemaker 允许您使用自定义 Docker 图像 (AWS document)
Build your own custom container image: If there is no pre-built Amazon SageMaker container image that you can use or modify for an advanced scenario, you can package your own script or algorithm to use with Amazon SageMaker.You can use any programming language or framework to develop your container
- 使用您的代码(FFmpeg、TensorFlow)创建 docker 图像
- 正在本地测试 docker 容器
- 在 Amazon ECR(弹性容器存储库)上部署映像
- 创建 SageMaker 模型并指向图像
详情可参考this tutorial