尝试从 BigQuery 获取数据时 Vertex AI Pipeline 失败

Vertex AI Pipeline is failing while trying to get data from BigQuery

我正在尝试 运行 Google Vertex AI 管道从 BigQuery table 进行查询。在管道中,我使用了正确的项目和服务帐户(具有 bigquery.jobs.create 访问权限)。但是我看到它 运行s 时,它正在访问另一个项目 e1cd7306fb577e88gq-uq。我无法弄清楚这个项目的来源。我正在 运行从 Vertex AI 用户管理的笔记本

连接管道
pandas_gbq.exceptions.GenericGBQException: Reason: 403 POST https://bigquery.googleapis.com/bigquery/v2/projects/e1cd7306fb577e88gq-uq/jobs?prettyPrint=false: Access Denied: Project e1cd7306fb577e88gq-uq: User does not have bigquery.jobs.create permission in project e1cd7306fb577e88gq-uq.

服务代理或服务帐户运行您的代码确实具有所需的权限,但您的代码正试图访问错误项目中的资源。由于 Vertex AI 运行训练代码的方式,如果您没有在代码中明确指定项目 ID 或项目编号,可能会无意中发生此问题。

您可以通过这种方式明确select您想要的项目:

import os

from google.cloud import bigquery

project_number = os.environ["CLOUD_ML_PROJECT_ID"]

client = bigquery.Client(project=project_number)

您可以阅读更多关于训练代码要求的信息here