DVC 连接到 Min.IO 以访问 S3

DVC connect to Min.IO to access S3

将 DVC 连接到连接到 S3 上某些存储桶的 Min.IO 的正确方法是什么。

AWS-S3(My_Bucket) > Min.io(MY_Bucket aliased as S3)

现在我正在访问我的存储桶,例如使用 mc mc cp s3/my_bucket/datasets datasets 从那里复制内容。但是我需要设置我的 DVC 以使用 min.io 作为 AWS.S3 和 DVC 之间的枢纽,这样我就可以使用 "DVC mc-S3 pull""DVC AWS-S3 pull".

我是怎么找到它的,因为在谷歌搜索时我找不到任何我可以轻松遵循的东西。

您似乎在寻找组合。

首先,Jorge 提到您可以设置 endpointurl 以访问 Minio 的方式与访问常规 S3 的方式相同:

dvc remote add -d minio-remote s3://mybucket/path
dvc remote modify minio-remote endpointurl https://minio.example.com                          

其次,您似乎可以创建 两个 遥控器 - 一个用于 S3,一个用于 Minio,并使用可用于许多数据管理相关命令的 -r 选项:

dvc pull -r minio-remote
dvc pull -r s3-remote
dvc push -r minio-remote
...

这样你可以push/pull数据to/from一个特定的存储。

But I need to setup my DVC to work with min.io as a hub between AWS.S3 and DVC

还有其他可能的方式,我想来组织一下。这确实取决于您对 DVC mc-S3 pull 的期望语义。如果 -r 还不够,请告诉我们并澄清问题 - 这对我们有帮助。