在不创建端点的情况下使用 AWS Sagemaker 提高模型性能
Using AWS Sagemaker for model performance without creating endpoint
我一直在使用 Amazon Sagemaker Notebooks 为 NLP 任务构建 pytorch 模型。
我知道您可以使用 Sagemaker 进行训练、部署、超参数调整和模型监控。
但是，您似乎必须创建推理端点才能监控模型的推理性能。
我已经有一个 EC2 实例设置来对我们的模型执行推理任务，该模型目前在开发盒中，而不是使用端点来制作
是否可以在不创建端点的情况下使用 Sagemaker 进行训练、运行 超参数调整和模型评估。
如果您不想保持推理端点正常运行，一种选择是使用 SageMaker Processing 来 运行 一项将您的训练模型和测试数据集作为输入、执行推理和计算评估指标的作业, 并将它们保存到 S3 的 JSON 文件中。
This Jupyter notebook example 步骤 (1) 预处理训练和测试数据，(2) 训练模型，然后 (3) 评估模型
您可以使用两种方法在 AWS SageMaker 上部署您的模型：设置端点和创建批量转换作业。我想你可能可以试试后者。
使用批量转换作业的好处是您可以为输入和输出数据指定 S3 存储桶路径。当作业完成后，它会直接将输出上传到s3路径。
我一直在使用 Amazon Sagemaker Notebooks 为 NLP 任务构建 pytorch 模型。 我知道您可以使用 Sagemaker 进行训练、部署、超参数调整和模型监控。
但是，您似乎必须创建推理端点才能监控模型的推理性能。
我已经有一个 EC2 实例设置来对我们的模型执行推理任务，该模型目前在开发盒中，而不是使用端点来制作
是否可以在不创建端点的情况下使用 Sagemaker 进行训练、运行 超参数调整和模型评估。
如果您不想保持推理端点正常运行，一种选择是使用 SageMaker Processing 来 运行 一项将您的训练模型和测试数据集作为输入、执行推理和计算评估指标的作业, 并将它们保存到 S3 的 JSON 文件中。
This Jupyter notebook example 步骤 (1) 预处理训练和测试数据，(2) 训练模型，然后 (3) 评估模型
您可以使用两种方法在 AWS SageMaker 上部署您的模型：设置端点和创建批量转换作业。我想你可能可以试试后者。
使用批量转换作业的好处是您可以为输入和输出数据指定 S3 存储桶路径。当作业完成后，它会直接将输出上传到s3路径。