ClearML 如何在 AWS Sagemaker 中更改 clearml.conf 文件

Question

我在 AWS Sagemaker Jupyter notebook 中工作。我已经在 Jupyter 的 AWS Sagemaker 中安装了 clearml 包。 ClearML 服务器安装在 AWS EC2 上。我需要将工件和模型存储在 AWS S3 存储桶中，因此我想在 clearml.conf 文件中指定 S3 的凭据。如何更改 AWS Sagemaker 实例中的 clearml.conf 文件？看起来它上面的所有文件夹都被拒绝了权限。或者也许有人可以建议更好的方法。

Answer 1

免责声明我是 ClearML（以前称为 Trains）团队的一员。

要设置凭据（和 clearml-server 主机），您可以使用 Task.set_credentials。要将 S3 存储桶指定为所有工件（以及与此相关的调试图像）的输出，您只需将其设置为 files_server.

例如：

from clearml import Task

Task.set_credentials(api_host='http://clearml-server:8008', web_host='http://clearml-server:8080', files_host='s3://my_bucket/folder/',
key='add_clearml_key_here', secret='add_clearml_key_secret_here')

要传递您的 S3 凭据，只需在您的 jupyter notebook 顶部添加一个单元格，并设置标准 AWS S3 环境变量：

import os
os.environ['AWS_ACCESS_KEY_ID'] = 's3_bucket_key_here'
os.environ['AWS_SECRET_ACCESS_KEY'] = 's3_bucket_secret_here'
# optional
os.environ['AWS_DEFAULT_REGION'] = 's3_bucket_region'

ClearML 如何在 AWS Sagemaker 中更改 clearml.conf 文件

ClearML how to change clearml.conf file in AWS Sagemaker

clearml