将 EBS 卷附加到 AWS Batch 计算环境

Attaching an EBS volume to AWS Batch Compute Environments

我想设置 AWS Batch 运行 几个 python 脚本来对从 S3 获取的文件执行一些批处理操作,并 post 处理它们需要保存到卷中。

为此,我想在 AWS 批处理中配置计算环境。

我希望使用 spot 实例,但我需要我的 EBS 卷存在,即使在实例终止后也是如此,如果新实例启动,它必须安装与之前使用的卷相同的卷。

创建一个实例模板,提供一个 bootstrap 脚本,对于上述情况,例如:

sudo mkdir -p /<any directory name where volume will be mounted eg: dir>

aws ec2 attach-volume --volume-id <volume_id> --instance-id $(wget -q -O - http://169.254.169.254/latest/meta-data/instance-id) --device /dev/sdf

sudo mount /dev/sdf /<above mentioned dir rg :dir>

在 AWS 批处理定义中,使用上述模板启动您的 ec2 机器。