Sagemaker 模型评估
Sagemaker model evaluation
亚马逊文档列出了几种评估模型的方法（例如交叉验证等），但这些方法似乎在 Sagemaker Java SDK 中不可用。
目前，如果我们想要进行 5 折交叉验证，似乎唯一的选择是为每个数据子集创建 5 个模型（并部署 5 个端点）一个模型并手动计算性能指标（召回率、精度等）。
这种方法效率不高，而且成本很高，需要根据 k 折验证中的折数部署 k 端点。
还有其他方法可以测试模型的性能吗？
Amazon SageMaker 是一组多个组件，您可以选择使用哪些组件。
内置算法专为（无限）规模而设计，这意味着您可以拥有庞大的数据集，并能够使用它们快速且低成本地构建模型。一旦拥有大型数据集，通常就不需要使用交叉验证等技术，建议在训练数据和验证数据之间进行明确划分。当您提交训练作业时，每个部分都将定义一个输入通道。
如果您有少量数据并且想要对所有数据进行训练并使用交叉验证来允许它，您可以使用该服务的不同部分（交互式笔记本实例）。您可以带上自己的算法甚至容器镜像用于开发、训练或托管。您可以拥有基于任何机器学习库或框架的任何 python 代码，包括 scikit-learn、R、TensorFlow、MXNet 等。在您的代码中，您可以根据从中复制的训练数据定义交叉验证S3 到工作实例。
亚马逊文档列出了几种评估模型的方法（例如交叉验证等），但这些方法似乎在 Sagemaker Java SDK 中不可用。 目前，如果我们想要进行 5 折交叉验证，似乎唯一的选择是为每个数据子集创建 5 个模型（并部署 5 个端点）一个模型并手动计算性能指标（召回率、精度等）。
这种方法效率不高，而且成本很高，需要根据 k 折验证中的折数部署 k 端点。
还有其他方法可以测试模型的性能吗？
Amazon SageMaker 是一组多个组件，您可以选择使用哪些组件。
内置算法专为（无限）规模而设计，这意味着您可以拥有庞大的数据集，并能够使用它们快速且低成本地构建模型。一旦拥有大型数据集，通常就不需要使用交叉验证等技术，建议在训练数据和验证数据之间进行明确划分。当您提交训练作业时，每个部分都将定义一个输入通道。
如果您有少量数据并且想要对所有数据进行训练并使用交叉验证来允许它，您可以使用该服务的不同部分（交互式笔记本实例）。您可以带上自己的算法甚至容器镜像用于开发、训练或托管。您可以拥有基于任何机器学习库或框架的任何 python 代码，包括 scikit-learn、R、TensorFlow、MXNet 等。在您的代码中，您可以根据从中复制的训练数据定义交叉验证S3 到工作实例。