在多个数据集上训练 Google-Cloud-Automl 模型

Question

我想使用多个数据集在 gcp 的顶点 ai 上训练一个 automl 模型。我想将数据集分开，因为它们来自不同的来源，想单独训练它们等等。这可能吗？还是我需要创建一个包含两个数据集的数据集？看来我只能 select 网络中的一个数据集 UI。

Answer 1

可以通过 Vertex AI API 只要您的源在 Google 云存储中，只需提供 JSON 或 CSV 格式的训练数据列表符合 best practices for formatting of training data.

查看创建和导入数据集的代码。有关代码参考和更多详细信息，请参阅 documentation。

from typing import List, Union
from google.cloud import aiplatform

    def create_and_import_dataset_image_sample(
        project: str,
        location: str,
        display_name: str,
        src_uris: Union[str, List[str]], // example: ["gs://bucket/file1.csv", "gs://bucket/file2.csv"]
        sync: bool = True,
    ):
        aiplatform.init(project=project, location=location)
    
        ds = aiplatform.ImageDataset.create(
            display_name=display_name,
            gcs_source=src_uris,
            import_schema_uri=aiplatform.schema.dataset.ioformat.image.single_label_classification,
            sync=sync,
        )
    
        ds.wait()
    
        print(ds.display_name)
        print(ds.resource_name)
        return ds

注意：提供的链接适用于 Vertex AI AutoML 图像。如果您访问这些链接，则可以找到其他 AutoML 产品的选项，例如文本、表格和视频。

在多个数据集上训练 Google-Cloud-Automl 模型

Training Google-Cloud-Automl Model on multiple datasets

google-cloud-automl

google-cloud-vertex-ai