Google Cloud Composer 区域 Kubernetes 集群

Google Cloud Composer Regional Kubernetes Cluster

我想在 Cloud Composer 环境下的 kubernetes 集群中设置区域集群。我在 2018 年 10 月的这个问题中看到,该功能不作为 Composer 的一部分提供。

然而,文档似乎暗示有一种方法可以跨不同区域设置环境:"For simple use cases, you can create one environment in one region. For complex use cases, you can create multiple environments within a single region or across multiple regions"

我想知道是否有此类设置的示例,或者文档的措辞是否指的是多个单独的作曲家环境,如果是的话,您将如何使用调度程序来避免 运行 跨多个作曲家部署的相同作业。

https://cloud.google.com/composer/docs/concepts/overview#environments

我无法评论 Cloud Composer 的具体细节,但我认为如果您了解 GKE Regional Clusters,它会帮助您理解。

默认情况下,GKE 使用 "zonal" 个集群,其中每个节点池(以及节点)都属于一个区域(如 us-central1-a)。

在 "regional" 个集群中,您仍然只有一个集群。但是,您创建的每个 GKE 节点池都会复制到该区域的 3 个区域(例如 us-central1-a-b-c)。

因此,当您创建具有 2 个节点的 "regional" 集群时,您将在集群中获得 6 个节点。这些节点将从 3 个不同的节点池创建,这些节点池分布在同一区域的不同区域。

如果 Cloud Composer 在 GKE 集群上运行,通过拥有 "regional" 个集群,它仍然会将整个事情视为一个集群,我猜你不会最终 运行多次相同的工作。