更新 GCP Composer 和 Airflow 图像失败

Failure updating GCP Composer and Airflow image

当我尝试将我的 Composer 环境(在 GCP 上)从 composer-1.7.2-airflow-1.10.2 版本更新到 composer-1.12 .0-airflow-1.10.10(或任何其他可用的)我总是收到此错误:

UPDATE operation on this environment failed Just now with the following error message:
Failed to update image version.
The Cloud Build image build failed: Build failed; check build logs for details 

查看构建日志后,我只能看到下面这个对我帮助不大的错误:

The command '/bin/sh -c bash installer.sh $COMPOSER_PYTHON_VERSION  fail' returned a non-zero code: 1
ERROR
ERROR: build step 0 "gcr.io/cloud-builders/docker" failed: step exited with non-zero status: 1

可能发生了什么?

我在 Composer 文档 https://cloud.google.com/composer/docs/how-to/managing/updating 中找到了这个指南,它为我提供了一些关于正在发生的事情的线索。

然后我这样做成功了:

  1. 确保满足上述 link 中的这些条件
  2. 成为Admin,我是编辑(应该有权限),但我成为Admin是为了消除权限疑虑
  3. 从环境中删除了所有 PYPI 包

凭经验,我认为问题出在 Pypi 包上。其中一些与新的作曲家版本不兼容,这破坏了构建。日志并没有说明这一点。

我希望它能有所帮助,因为我很难找到解决这个问题的帮助。