在 MinIO 存储上安装 DVC

Question

有人在 MinIO 存储上安装 DVC 吗？

我已经阅读 docs 但对我来说还不是很清楚。

我应该使用哪个命令来设置具有此入口参数的 MinIO 存储：

存储url：https://minio.mysite.com/minio/bucket-name/ 登录：my_login 密码：my_password

Answer 1

安装

我通常将其用作 Python 软件包，在这种情况下您需要安装：

pip install "dvc[s3]"

设置远程

默认情况下，DVC 支持 AWS S3 存储，它们工作正常。
它们还支持“S3 兼容存储”，但正确描述了此类遥控器的设置。在 MinIO 的特定情况下，您有 bucket - MinIO 服务器上实际存储数据的目录（它类似于 AWS 存储桶），但 DVC 使用 AWS CLI 进行身份验证。对于 MinIO，您需要显式传递它们。

然后按照命令设置您的 DVC 遥控器：

# setup default remote (change "bucket-name" to your minio backet name)
dvc remote add -d minio s3://bucket-name -f

# add information about storage url (where "https://minio.mysite.com" your url)
dvc remote modify minio endpointurl https://minio.mysite.com

#  add info about login and password
dvc remote modify minio access_key_id my_login
dvc remote modify minio secret_access_key my_password

如果您从旧的遥控器移动，请使用以下命令移动您的数据：

设置前（将所有旧的远程缓存下载到本地机器）：

dvc pull -r <old_remote_name> --all-commits --all-tags --all-branches

设置后（将所有缓存上传到新的远程）：

dvc push -r <new_remote_name> --all-commits --all-tags --all-branches

在 MinIO 存储上安装 DVC

Installation DVC on MinIO storage

python

minio

dvc