Google Cloud Composer vCPU 时间混乱

Question

我最近一直在尝试 Composer 运行我的管道，发现它的成本比我想象的高得多，这是我从账单中得到的：

Cloud Composer Cloud Composer vCPU time in South Carolina: 148.749 hours 
[Currency conversion: USD to AUD using rate 1.475] A.11
Cloud Composer Cloud Composer SQL vCPU time in South Carolina: 148.749 hours 
[Currency conversion: USD to AUD using rate 1.475] A.43

我只用了两三天的Composer，绝对不是运行一天24小时，不知道哪来的148小时。

这是否意味着在将 dag 部署到 composer 之后，即使不是运行ning，它仍在使用资源并且 composer 正在累积 vCPU 时间？

如果我想每天使用 Composer 运行我的管道，如何降低成本？谢谢

Answer 1

据我所知，目前还不是 composer 的功能。

在 worker 级别，您应该能够通过手动修改 composer 的配置并允许其 kubernetes worker 根据工作负载扩展和缩减来做到这一点。

Joshua Hendinata 在以下 link 中提供了有关启用 Composer [1] 自动缩放的必要步骤的指南。

您也可能会感兴趣这篇文章，其中介绍了节省作曲家成本的方法 [2]。

希望对您有所帮助！

[1] https://medium.com/traveloka-engineering/enabling-autoscaling-in-google-cloud-composer-ac84d3ddd60

[2] https://medium.com/condenastengineering/automating-a-cloud-composer-development-environment-590cb0f4d880

Answer 2

Cloud Composer 主要对分配给环境的计算资源收费，因为即使没有部署 DAG，它的大部分组件也会继续运行。这是因为 Airflow 主要是一个工作流 调度程序 ，因此当工作流突然准备好运行.[=10= 时，您可以关闭并期望在那里的东西不多]

在您的情况下，计费的 vCPU 时间是由您环境的 GKE 节点和托管的 Airflow 数据库贡献的。除了 GKE 节点数之外，您可以减少或关闭的数量不多，因此如果您需要更小的东西，您可能需要完全考虑自我管理的 Airflow 或其他平台。如果您的主要 objective 仅处理数据并且您不需要 Airflow 提供的调度方面，则同样适用。

Google Cloud Composer vCPU 时间混乱

Google Cloud Composer vCPU time Confusion

google-cloud-composer