启动 Dataflow Flex 模板时出现问题

Question

我在启动数据流 flex 模板时遇到以下问题。

Error occurred in the launcher container: Template launch failed. See console logs

2020 年 12 月 13 日 2:16:51 上午之前一切正常。

但是在 2020 年 12 月 13 日之后，2:16:51AM 每个作业都失败了。

不知道怎么回事。我什么都没更新。

有人遇到同样的问题吗？谁能帮我解决这个问题？

完整日志消息：

{
 insertId: "6dx1bnbsu"  
 labels: {
  dataflow.googleapis.com/job_id: "2020-12-15_21_10_01-10766180733224199975"   
  dataflow.googleapis.com/job_name: "tracking-data-pipeline"   
  dataflow.googleapis.com/region: "us-central1"   
 }
 logName: "projects/project_id/logs/dataflow.googleapis.com%2Fjob-message"  
 receiveTimestamp: "2020-12-16T05:22:01.470463269Z"  
 resource: {
  labels: {
   job_id: "2020-12-15_21_10_01-10766180733224199975"    
   job_name: "tracking-data-pipeline"    
   project_id: "project_id"    
   region: "us-central1"    
   step_id: ""    
  }
  type: "dataflow_step"   
 }
 severity: "ERROR"  
 textPayload: "Error occurred in the launcher container: Template launch failed. See console logs."  
 timestamp: "2020-12-16T05:22:00.427865178Z"  
}

Answer 1

我刚遇到同样的问题。添加 apache-beam[gcp]==2.25.0 到 requirements.txt 文件为我解决了它。

Answer 2

我通过在 docker 容器中安装 git 解决了这个问题。在构建 docker 映像时，它试图从 git 存储库中提取一些代码，docker 中没有安装 git 这就是为什么抛出错误。安装后 git 工作正常。

它可能会因不同的原因抛出错误。看看日志就知道原因了。

Answer 3

您应该下载控制台日志，看看出了什么问题。

这是操作方法。在 Dataflow 的作业日志中，查找如下所示的行：

2021-11-17T20:41:41.068024028Z Console log from launcher will be available at gs://dataflow-staging-us-central1-834770913771/staging/template_launches/2021-11-17_12_41_40-12088305213911934928/console_logs.

然后使用gsutil下载该文件：

gsutil cp gs://…etc…/console_logs .

现在看看console_logs的内容，你应该能弄清楚哪里出了问题。

启动 Dataflow Flex 模板时出现问题

Getting problem while launching the Dataflow flex template

google-cloud-platform

google-cloud-dataflow