rebuilding/updating Google Cloud Composer 时减少延迟?

Reduce latency when rebuilding/updating Google Cloud Composer?

我正在使用 Google Cloud Composer,每当我更改环境变量或气流中的任何设置时,它都会触发气流环境的重建。

我在想可能有一种解决包依赖性的方法(即上传 python 包)以减少重建延迟。

我问是因为重建可能需要 2-15 分钟。

有没有人幸运地减少了这个构建时间(有或没有增加成本)?

Cloud Composer 中的环境更新通常需要 5-30 分钟,目前它可以正常工作。请查看此 public issue tracker 以获得更多信息。您可以单击 +1 使其更容易被 Cloud Composer 工程团队看到。

请注意,Composer 需要处理大量资源,即在 Google Kubernetes Engine 和 App Engine 中部署 Airflow,这会强制重建容器的映像、更新 Airflow Web 服务器和很快。 我建议您查看以下 Cloud Composer 架构 documentation,您可以在其中找到每次更改都需要更新的所有组件。

您可以检查您的 PODs 是否处于 Evicted 状态,这意味着您的节点资源不足,因此您应该考虑使用更高资源的机器而不是标准机器 n1-standard-2.

希望以上信息对您有用。