我可以重新启动 Cloud Composer 环境吗?

Can I restart a Cloud Composer Environment?

我使用 Google Cloud composer 几天了,主要是为了将数据从 MySQL 移动到 BigQuery,它工作正常。

在某些时候,它停止工作:

我已经使用 Airflow 网络 UI 清理了所有 DAG 运行 和任务实例,但仍然无法正常工作。

有没有办法在不丢失已完成任务的结果的情况下重新启动环境? 有没有其他方法可以手动获取 Airflow 运行ning?

您不能stop/restart 云作曲家环境。到目前为止,元数据数据库与作曲家环境相关联,因此删除该环境将删除与该任务相关的所有内容。

这个 post 已经有一年多了,但它可能会对其他人有所帮助。回答您的 2 个问题:

  1. 如何重启Composer环境 每次您将 Python 包或环境变量添加到 Composer 中时,这将重新启动整个环境来安装需要添加的内容。因此,重新启动 Composer 环境的解决方法是添加一个 dummy 环境变量。 请按照以下步骤操作:

    • 转到 GCP 中的作曲家实例
    • 环境变量选项卡
    • 编辑,添加您的环境变量并提交
  2. 如何运行手动气流 您还可以通过 Composer 命令行访问 Airflow: https://cloud.google.com/composer/docs/gcloud-installation

希望对您有所帮助!