保存到云对象存储后如何将file/folder注册为项目数据资产？

Question

我已将一个 spark 数据帧保存到云对象存储到 Watson Studio 项目的存储桶中：

staging     
  .write             
  .mode("overwrite") 
  .option("header", "true")
  .csv(cos.url('all.csv', 'myproject-bucket'))

我希望生成的文件夹显示在项目资产中。

最初，我尝试使用 project-lib，但从文档来看，您似乎必须有一个类似对象的文件，这意味着将所有数据带回驱动程序节点，如果我这样做，我运行内存不足。

Answer 1

您可以创建从 Watson Studio 到 COS 的连接并发布文件。

步骤

在 Watson Studio 界面中，转到 "Add to project" -> Connection
为 "Cloud Object Storage" 创建连接。您需要 COS 存储桶的凭据。
您可以选择勾选"Discover Data Assets"。它将存储桶中的所有文件添加到您的项目资产中。您可以从那里发布资产。
如果您没有选择"Discover Data Assets"，那么您可以手动选择文件。转到 "Add to project" -> 连接数据并使用您之前创建的连接，它将列出您可以从中选择的文件。

How to register file/folder as a project data asset after saving to cloud object storage?