如何使用 aws Sagemaker python SDK 保存训练作业的未压缩输出？

Question

我正在尝试以非压缩方式将训练作业工件上传到 S3。

我熟悉 output_dir 可以提供给 sagemaker Estimator，然后将 /opt/ml/output 下保存的所有内容压缩上传到 S3 输出目录。

我希望可以选择访问特定的工件，而不必每次都解压缩输出。有没有一种干净的方法来解决这个问题？如果没有任何解决方法？ 我感兴趣的工件是小的元数据文件 .txt 或 .csv，而在我的情况下，其余工件可能约为 1GB，因此下载和解压缩非常多。

任何帮助将不胜感激

Answer 1

我认为您可以简单地指定一个 s3 位置路径来将您的工件保存在您的训练脚本中。但是我不完全确定 sagemaker 创建的实例是否具有直接写入 S3 的权限，也许它们也是网络隔离的。为了实时阅读 tensorflow 日志，我或多或少做了你所说的，但我正在使用自定义图像进行训练。有兴趣可以看看here

Answer 2

我最终使用了默认情况下以未压缩方式与指定 S3 路径同步的检查点路径。