无状态 Apache 气流服务
Stateless Apache Airflow Service
我一直在搜索许多文章和 Apache Airflow 的官方文档,并成功配置了一些东西以使用本地 postgres 实例作为服务的元数据。到目前为止我无法弄清楚的一件事是 Apache Airflow DAG 是否也可以在我的数据库中定义,而不是在相对于气流文件夹位置的文件夹中。
我的目标是使用 Cloud Foundry 部署无状态 Airflow 服务,因此我不能依赖存储在机器上的任何 DAG 配置文件。有没有办法以从远程数据库动态检索 DAG 配置文件的方式将 Airflow 部署到 Cloud Foundry?
您可以使用 DAG serialization 功能。但它有局限性:
Limitations
The Webserver will still need access to DAG files in the following cases, which is why we said “almost” stateless.
Rendered Template tab will still have to parse Python file as it needs all the details like the execution date and even the data passed by the upstream task using Xcom.
Code View will read the DAG File & show it using Pygments. However, it does not need to Parse the Python file so it is still a small operation.
我一直在搜索许多文章和 Apache Airflow 的官方文档,并成功配置了一些东西以使用本地 postgres 实例作为服务的元数据。到目前为止我无法弄清楚的一件事是 Apache Airflow DAG 是否也可以在我的数据库中定义,而不是在相对于气流文件夹位置的文件夹中。
我的目标是使用 Cloud Foundry 部署无状态 Airflow 服务,因此我不能依赖存储在机器上的任何 DAG 配置文件。有没有办法以从远程数据库动态检索 DAG 配置文件的方式将 Airflow 部署到 Cloud Foundry?
您可以使用 DAG serialization 功能。但它有局限性:
Limitations
The Webserver will still need access to DAG files in the following cases, which is why we said “almost” stateless.
Rendered Template tab will still have to parse Python file as it needs all the details like the execution date and even the data passed by the upstream task using Xcom.
Code View will read the DAG File & show it using Pygments. However, it does not need to Parse the Python file so it is still a small operation.