我可以重新启动 Cloud Composer 环境吗?
Can I restart a Cloud Composer Environment?
我使用 Google Cloud
composer 几天了,主要是为了将数据从 MySQL 移动到 BigQuery,它工作正常。
在某些时候,它停止工作:
运行 任务 运行 很长时间然后失败
任务没有开始
新狗有评论This DAG seems to be existing only locally. The master scheduler doesn't seem to be aware of its existence
我已经使用 Airflow 网络 UI 清理了所有 DAG 运行 和任务实例,但仍然无法正常工作。
有没有办法在不丢失已完成任务的结果的情况下重新启动环境?
有没有其他方法可以手动获取 Airflow 运行ning?
您不能stop/restart 云作曲家环境。到目前为止,元数据数据库与作曲家环境相关联,因此删除该环境将删除与该任务相关的所有内容。
这个 post 已经有一年多了,但它可能会对其他人有所帮助。回答您的 2 个问题:
如何重启Composer环境
每次您将 Python 包或环境变量添加到 Composer 中时,这将重新启动整个环境来安装需要添加的内容。因此,重新启动 Composer 环境的解决方法是添加一个 dummy 环境变量。
请按照以下步骤操作:
- 转到 GCP 中的作曲家实例
- 环境变量选项卡
- 编辑,添加您的环境变量并提交
如何运行手动气流
您还可以通过 Composer 命令行访问 Airflow:
https://cloud.google.com/composer/docs/gcloud-installation
希望对您有所帮助!
我使用 Google Cloud
composer 几天了,主要是为了将数据从 MySQL 移动到 BigQuery,它工作正常。
在某些时候,它停止工作:
运行 任务 运行 很长时间然后失败
任务没有开始
新狗有评论
This DAG seems to be existing only locally. The master scheduler doesn't seem to be aware of its existence
我已经使用 Airflow 网络 UI 清理了所有 DAG 运行 和任务实例,但仍然无法正常工作。
有没有办法在不丢失已完成任务的结果的情况下重新启动环境? 有没有其他方法可以手动获取 Airflow 运行ning?
您不能stop/restart 云作曲家环境。到目前为止,元数据数据库与作曲家环境相关联,因此删除该环境将删除与该任务相关的所有内容。
这个 post 已经有一年多了,但它可能会对其他人有所帮助。回答您的 2 个问题:
如何重启Composer环境 每次您将 Python 包或环境变量添加到 Composer 中时,这将重新启动整个环境来安装需要添加的内容。因此,重新启动 Composer 环境的解决方法是添加一个 dummy 环境变量。 请按照以下步骤操作:
- 转到 GCP 中的作曲家实例
- 环境变量选项卡
- 编辑,添加您的环境变量并提交
如何运行手动气流 您还可以通过 Composer 命令行访问 Airflow: https://cloud.google.com/composer/docs/gcloud-installation
希望对您有所帮助!