在另一个环境中触发 Airflow DAG

Trigger Airflow DAG in another environment

我在一台服务器上 运行 Airflow。在我的 DAG 和任务中,有些情况下我需要触发在另一台服务器上的不同 Airflow 安装中维护的 DAG。

有没有类似于DatabricksRunNowOperator之类的AirflowOperator?我已经检查了 https://airflow.apache.org/docs/apache-airflow-providers/packages-ref.html。我还没有找到任何东西。

您可以利用 Airflow REST API and trigger a DAG run. The SimpleHttpOperator can help with that out of the box in Airflow, using the HttpHook inside a PythonOperator,或带有您自己编写的可调用函数的 TaskFlow 函数等。

主要的收获是 Airflow REST API 可以在这里提供帮助,您可以通过几种不同的方式发送 POST 请求,但是您觉得这样做很舒服。