SageMaker 脚本模式 + 管道模式

Question

我正在使用 TensorFlow + 脚本模式在 SageMaker 中进行训练，目前我的数据使用 'File' 输入模式。

有没有人想出如何使用 'Pipe' 数据格式与脚本模式训练一起流式传输数据？

Answer 1

您可以从训练脚本中导入 sagemaker_tensorflow，如下所示：

from sagemaker_tensorflow import PipeModeDataset
from tensorflow.contrib.data import map_and_batch

channel = 'my-pipe-channel-name'

ds = PipeModeDataset(channel)
ds = ds.repeat(EPOCHS)
ds = ds.prefetch(PREFETCH_SIZE)
ds = ds.apply(map_and_batch(parse, batch_size=BATCH_SIZE,
                            num_parallel_batches=NUM_PARALLEL_BATCHES))

您可以在此处找到完整示例：https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker-python-sdk/tensorflow_pipemode_example/pipemode.py

您可以在此处 https://github.com/aws/sagemaker-tensorflow-extensions#using-the-pipemodedataset

找到有关 sagemaker_tensorflow 的文档

SageMaker 脚本模式 + 管道模式

SageMaker Script Mode + Pipe Mode

python

tensorflow

streaming

amazon-sagemaker