作曲家自动缩放?
Composer auto scaling?
鉴于 GCP Cloud Composer 运行 GKE/GCE,它是否自动缩放?
现在我在集群中有 3 个节点来支持 100 个 DAG。
稍后,如果我有大约 300 个 DAG,它会自行扩展(使用 celery worker)吗?
此时没有自动缩放,但我希望它在路线图中。
Astronomer 正在使用 Kubernetes 开发自动缩放的 Airflow 服务,它可能会在这个时候启动 Google Composer 启动自动缩放...好时光即将到来:)
我们目前不支持自动缩放,但它在我们的路线图上。但是,您可以通过更新 nodeCount 值手动扩展 up/down GKE 集群。
我刚刚发表了一篇文章,展示了如何在其底层 kubernetes 中启用自动缩放 https://link.medium.com/AMUlwUIkD0。
基本上:
在节点级别启用自动缩放
将 HorizontalPodAutoscaler 应用于 airflow-worker 部署
增加一些气流配置参数以消除瓶颈
这已经在 composer-1.7.2 和 composer-1.7.5 中测试过,但也可能适用于其他版本
检查一下
Cloud Composer 为 Environment Scaling 自主要版本 2:
带来原生支持
gcloud beta composer composer environments update <ENVIRONMENT_NAME> \
--location <LOCATION> \
--min-workers <WORKERS_MIN> \
--max-workers <WORKERS_MAX>
鉴于 GCP Cloud Composer 运行 GKE/GCE,它是否自动缩放?
现在我在集群中有 3 个节点来支持 100 个 DAG。
稍后,如果我有大约 300 个 DAG,它会自行扩展(使用 celery worker)吗?
此时没有自动缩放,但我希望它在路线图中。
Astronomer 正在使用 Kubernetes 开发自动缩放的 Airflow 服务,它可能会在这个时候启动 Google Composer 启动自动缩放...好时光即将到来:)
我们目前不支持自动缩放,但它在我们的路线图上。但是,您可以通过更新 nodeCount 值手动扩展 up/down GKE 集群。
我刚刚发表了一篇文章,展示了如何在其底层 kubernetes 中启用自动缩放 https://link.medium.com/AMUlwUIkD0。
基本上:
在节点级别启用自动缩放
将 HorizontalPodAutoscaler 应用于 airflow-worker 部署
增加一些气流配置参数以消除瓶颈
这已经在 composer-1.7.2 和 composer-1.7.5 中测试过,但也可能适用于其他版本
检查一下
Cloud Composer 为 Environment Scaling 自主要版本 2:
带来原生支持gcloud beta composer composer environments update <ENVIRONMENT_NAME> \
--location <LOCATION> \
--min-workers <WORKERS_MIN> \
--max-workers <WORKERS_MAX>