在 apache air flow 中在哪里写入 DAG 文件?
where to write DAG files in apache air flow?
我刚开始学习 apache airflow,我在 gcp 的 composer 中创建了一个环境,web 服务器工作正常,一切正常,但我只是对在哪里编写 DAG 文件感到困惑?我的意思是我想写一个我可以多次测试的文件,因为在网络 UI 它向我展示了一个存储桶,我可以在其中存储文件,但我无法理解在哪里编写代码。我必须在我的机器上安装气流吗?
p.s - 我知道这是一个愚蠢的问题,我们将不胜感激
您可以在本地安装它是的。如果你想在本地测试它,我认为这是唯一的方法。
您可以使用几种工具 - 有一个 astro
CLI 用于管理您的“dag 开发”环境,它由 Astronomer https://github.com/astronomer/astro-cli
发布
MWAA 也有自己的工具 - 我认为,我认为 Composer 没有特定于 Composer 的工具。
但是对于“通用”Airflow(应该足以启动),您可以使用社区管理的快速启动(使用本地 venv 或 Docker-Compose):
https://airflow.apache.org/docs/apache-airflow/stable/start/index.html
我刚开始学习 apache airflow,我在 gcp 的 composer 中创建了一个环境,web 服务器工作正常,一切正常,但我只是对在哪里编写 DAG 文件感到困惑?我的意思是我想写一个我可以多次测试的文件,因为在网络 UI 它向我展示了一个存储桶,我可以在其中存储文件,但我无法理解在哪里编写代码。我必须在我的机器上安装气流吗?
p.s - 我知道这是一个愚蠢的问题,我们将不胜感激
您可以在本地安装它是的。如果你想在本地测试它,我认为这是唯一的方法。
您可以使用几种工具 - 有一个 astro
CLI 用于管理您的“dag 开发”环境,它由 Astronomer https://github.com/astronomer/astro-cli
MWAA 也有自己的工具 - 我认为,我认为 Composer 没有特定于 Composer 的工具。
但是对于“通用”Airflow(应该足以启动),您可以使用社区管理的快速启动(使用本地 venv 或 Docker-Compose):
https://airflow.apache.org/docs/apache-airflow/stable/start/index.html