数据流作业失败

Question

我有一个需要数据流作业到运行的管道。我正在使用 gcloud CLI 命令启动一个数据流作业，该作业运行良好了一个多月。但是自从过去三天以来，数据流作业在 10-20 秒内失败并出现以下错误日志。

Failed to start the VM, launcher-2022012621245117717885921401920990, used for launching because of status code: UNAVAILABLE, reason: One or more operations had an error: 'operation-1643261093401-5d68989bed339-a33de830-9f90d92a': [UNAVAILABLE] 'HTTP_503'..

我使用的命令是：

gcloud dataflow sql query "SELECT tr.* FROM pubsub.topic.`my_project`.pubsub_topic as tr" 
    --job-name test_job
    --region asia-south1
    --bigquery-write-disposition write-empty
    --bigquery-project my_project
    --bigquery-dataset test_dataset --bigquery-table table_name
    --max-workers 1 --worker-machine-type n1-standard-1

我尝试使用相同的参数从云控制台启动作业，但失败并显示相同的错误日志。我之前已经从控制台测试了作业运行，它运行良好。这个问题是几天前开始的。

可能出了什么问题？

谢谢。

Answer 1

Google 云错误模型表示 503 表示服务不可用 [1]。

您可以尝试更改区域，例如，从 europe-north1 更改为 europe-west4，这应该可行。此外，您不应在 Stack Overflow 中包含您的工作 ID。

[1] https://cloud.google.com/apis/design/errors#handling_errors

数据流作业失败

Dataflow Job failing

google-cloud-platform

google-cloud-dataflow