我可以在没有 S3 的情况下使用 AWS Sagemaker
Can I use AWS Sagemaker without S3
如果我没有在 AWS 上使用笔记本,而只是使用 Sagemaker CLI 并且想要训练模型,我可以指定一个本地路径来读取和写入吗?
据我所知,你不能那样做。 Sagemaker 的框架和估算器 API 使 SageMaker 可以轻松地在每次迭代或迭代时将数据输入模型。从当地进食会大大减慢这个过程。
这就引出了一个问题——为什么不使用 S3。又便宜又快。
如果您将本地模式与 SageMaker Python SDK 结合使用,则可以使用本地数据进行训练:
from sagemaker.mxnet import MXNet
mxnet_estimator = MXNet('train.py',
train_instance_type='local',
train_instance_count=1)
mxnet_estimator.fit('file:///tmp/my_training_data')
但是,这仅在您在本地而非 SageMaker 上训练模型时有效。如果您想在 SageMaker 上训练,那么是的,您确实需要使用 S3。
有关本地模式的更多信息:https://github.com/aws/sagemaker-python-sdk#local-mode
如果我没有在 AWS 上使用笔记本,而只是使用 Sagemaker CLI 并且想要训练模型,我可以指定一个本地路径来读取和写入吗?
据我所知,你不能那样做。 Sagemaker 的框架和估算器 API 使 SageMaker 可以轻松地在每次迭代或迭代时将数据输入模型。从当地进食会大大减慢这个过程。 这就引出了一个问题——为什么不使用 S3。又便宜又快。
如果您将本地模式与 SageMaker Python SDK 结合使用,则可以使用本地数据进行训练:
from sagemaker.mxnet import MXNet
mxnet_estimator = MXNet('train.py',
train_instance_type='local',
train_instance_count=1)
mxnet_estimator.fit('file:///tmp/my_training_data')
但是,这仅在您在本地而非 SageMaker 上训练模型时有效。如果您想在 SageMaker 上训练,那么是的,您确实需要使用 S3。
有关本地模式的更多信息:https://github.com/aws/sagemaker-python-sdk#local-mode