Google Cloud Composer - 创建环境 - 带有几个计算引擎实例 - 这很昂贵
Google Cloud Composer - Create Environment - with a few compute engine instances - That is expensive
我是 Google Cloud Composer 的新手,按照快速入门说明创建环境、加载 Dag、检查气流并删除环境。
但在(现实生活)生产用例中,在我们完成加载 dag 文件并 运行 它们在环境中之后。我们应该删除 Google Cloud Composer 环境吗?因为该作曲家中可能有多个计算实例,现在什么都不做。好贵。
但是如果我删除环境,那么我将失去对其airflow门户网站的访问权限,并且我无法查看我在删除的环境上处理的处理日志。
那我该怎么办?在实际生产案例中,处理完成后我应该删除还是不删除环境?
Apache Airflow(以及 Cloud Composer)用于编排工作流,而不是用于只需要瞬态计算资源的 ETL 批处理作业。与您不会仅仅因为计划的 cron 任务不是 运行 就关闭服务器的方式类似,Composer 环境意味着长期 运行 始终在线的计算资源,这样您就可以在必要时安排重复的工作流程(无论是每秒、每天等)
在实际生产案例中,应始终保留 Composer 环境 运行,否则当它关闭时将不会安排任何 DAG。如果您有开发环境并希望省钱,那么您可以将 Composer 环境附加的 GKE 集群的大小调整为 0 个节点,这样您就不会为它们付费。同样,如果您认为自己 运行 的 DAG 不足以证明成本合理,请考虑使用较小的工作机器尺寸。
我是 Google Cloud Composer 的新手,按照快速入门说明创建环境、加载 Dag、检查气流并删除环境。
但在(现实生活)生产用例中,在我们完成加载 dag 文件并 运行 它们在环境中之后。我们应该删除 Google Cloud Composer 环境吗?因为该作曲家中可能有多个计算实例,现在什么都不做。好贵。
但是如果我删除环境,那么我将失去对其airflow门户网站的访问权限,并且我无法查看我在删除的环境上处理的处理日志。
那我该怎么办?在实际生产案例中,处理完成后我应该删除还是不删除环境?
Apache Airflow(以及 Cloud Composer)用于编排工作流,而不是用于只需要瞬态计算资源的 ETL 批处理作业。与您不会仅仅因为计划的 cron 任务不是 运行 就关闭服务器的方式类似,Composer 环境意味着长期 运行 始终在线的计算资源,这样您就可以在必要时安排重复的工作流程(无论是每秒、每天等)
在实际生产案例中,应始终保留 Composer 环境 运行,否则当它关闭时将不会安排任何 DAG。如果您有开发环境并希望省钱,那么您可以将 Composer 环境附加的 GKE 集群的大小调整为 0 个节点,这样您就不会为它们付费。同样,如果您认为自己 运行 的 DAG 不足以证明成本合理,请考虑使用较小的工作机器尺寸。