如何通过 Dask 为 运行 在土星云中加载我的 train.tfrecord 文件？

Question

我正在研究对象检测，我有两个记录文件。 Train.tfrecord(1.6GB) 和 Test.tfrecord(65MB) 文件。我想在Saturn Cloud中使用Dask加快训练时间，如何在Saturn Cloud中加载训练文件？

Answer 1

正如@SultanOrazbayev 所提到的，由于 Saturn 在 AWS 上运行，因此最好的方法是将您的数据放入 S3 存储桶中。然后您可以使用您喜欢的任何库访问它。通常我们建议使用 s3fs.

注意：我在 Saturn Cloud 工作。