DVC 连接到 Min.IO 以访问 S3
DVC connect to Min.IO to access S3
将 DVC 连接到连接到 S3 上某些存储桶的 Min.IO 的正确方法是什么。
AWS-S3(My_Bucket) > Min.io(MY_Bucket aliased as S3)
现在我正在访问我的存储桶,例如使用 mc mc cp s3/my_bucket/datasets datasets
从那里复制内容。但是我需要设置我的 DVC 以使用 min.io 作为 AWS.S3 和 DVC 之间的枢纽,这样我就可以使用 "DVC mc-S3 pull"
和 "DVC AWS-S3 pull"
.
我是怎么找到它的,因为在谷歌搜索时我找不到任何我可以轻松遵循的东西。
您似乎在寻找组合。
首先,Jorge 提到您可以设置 endpointurl
以访问 Minio 的方式与访问常规 S3 的方式相同:
dvc remote add -d minio-remote s3://mybucket/path
dvc remote modify minio-remote endpointurl https://minio.example.com
其次,您似乎可以创建 两个 遥控器 - 一个用于 S3,一个用于 Minio,并使用可用于许多数据管理相关命令的 -r
选项:
dvc pull -r minio-remote
dvc pull -r s3-remote
dvc push -r minio-remote
...
这样你可以push
/pull
数据to/from一个特定的存储。
But I need to setup my DVC to work with min.io as a hub between AWS.S3 and DVC
还有其他可能的方式,我想来组织一下。这确实取决于您对 DVC mc-S3 pull
的期望语义。如果 -r
还不够,请告诉我们并澄清问题 - 这对我们有帮助。
将 DVC 连接到连接到 S3 上某些存储桶的 Min.IO 的正确方法是什么。
AWS-S3(My_Bucket) > Min.io(MY_Bucket aliased as S3)
现在我正在访问我的存储桶,例如使用 mc mc cp s3/my_bucket/datasets datasets
从那里复制内容。但是我需要设置我的 DVC 以使用 min.io 作为 AWS.S3 和 DVC 之间的枢纽,这样我就可以使用 "DVC mc-S3 pull"
和 "DVC AWS-S3 pull"
.
我是怎么找到它的,因为在谷歌搜索时我找不到任何我可以轻松遵循的东西。
您似乎在寻找组合。
首先,Jorge 提到您可以设置 endpointurl
以访问 Minio 的方式与访问常规 S3 的方式相同:
dvc remote add -d minio-remote s3://mybucket/path
dvc remote modify minio-remote endpointurl https://minio.example.com
其次,您似乎可以创建 两个 遥控器 - 一个用于 S3,一个用于 Minio,并使用可用于许多数据管理相关命令的 -r
选项:
dvc pull -r minio-remote
dvc pull -r s3-remote
dvc push -r minio-remote
...
这样你可以push
/pull
数据to/from一个特定的存储。
But I need to setup my DVC to work with min.io as a hub between AWS.S3 and DVC
还有其他可能的方式,我想来组织一下。这确实取决于您对 DVC mc-S3 pull
的期望语义。如果 -r
还不够,请告诉我们并澄清问题 - 这对我们有帮助。