通过 Google Cloud Scheduler 执行数据流模板

Question

我正在尝试通过 Google Cloud Scheduler 执行自定义数据流模板，但是当我执行作业时，出现 UNAUTHENTICATED 异常。

如何授予 Google Cloud Scheduler 使用数据流的权限 google API？

这是我正在使用的 URL 和 POST 正文：

https://dataflow.googleapis.com/v1b3/projects/<<PROJECT>>/templates:launch?gcsPath=gs://<<GCS_BUCKET>>/template

{
"jobName": "job-name-scheduled",
"parameters": {
    "param1" : "parmval1"
"environment": {
    "tempLocation": "gs://<<BUCKET>>/temp",
    "region": "us-east1"
}

}

Answer 1

Cloud Scheduler 文档指出 "Targeted HTTP endpoints must be publicly accessible"。

通常，要创建那种数据流作业，您会提交如下内容：

curl   -X POST  \
   'https://dataflow.googleapis.com/v1b3/projects/<project>/templates:launch?gcsPath=gs://dataflow-templates/latest/Word_Count'  \
   -H 'Authorization: Bearer '$(gcloud auth application-default print-access-token) \
   -H 'Content-Type: application/json' \
   --data '{
    "jobName": "scheduled_job",
    "parameters": {
       "inputFile" : "gs://dataflow-samples/shakespeare/kinglear.txt",
       "output": "gs://<bucket>/output/my_output"
    },
    "environment": { "zone": "us-central1-f" }
   }'

但是，您无法通过 Cloud Scheduler 发送授权令牌。

要安排 Dataflow 作业，您可以改为查看 this answer。

通过 Google Cloud Scheduler 执行数据流模板

Executing Dataflow Template via Google Cloud Scheduler

google-cloud-dataflow

google-cloud-scheduler