在另一个环境中触发 Airflow DAG
Trigger Airflow DAG in another environment
我在一台服务器上 运行 Airflow。在我的 DAG 和任务中,有些情况下我需要触发在另一台服务器上的不同 Airflow 安装中维护的 DAG。
有没有类似于DatabricksRunNowOperator之类的AirflowOperator?我已经检查了 https://airflow.apache.org/docs/apache-airflow-providers/packages-ref.html。我还没有找到任何东西。
您可以利用 Airflow REST API and trigger a DAG run. The SimpleHttpOperator
can help with that out of the box in Airflow, using the HttpHook
inside a PythonOperator
,或带有您自己编写的可调用函数的 TaskFlow 函数等。
主要的收获是 Airflow REST API 可以在这里提供帮助,您可以通过几种不同的方式发送 POST
请求,但是您觉得这样做很舒服。
我在一台服务器上 运行 Airflow。在我的 DAG 和任务中,有些情况下我需要触发在另一台服务器上的不同 Airflow 安装中维护的 DAG。
有没有类似于DatabricksRunNowOperator之类的AirflowOperator?我已经检查了 https://airflow.apache.org/docs/apache-airflow-providers/packages-ref.html。我还没有找到任何东西。
您可以利用 Airflow REST API and trigger a DAG run. The SimpleHttpOperator
can help with that out of the box in Airflow, using the HttpHook
inside a PythonOperator
,或带有您自己编写的可调用函数的 TaskFlow 函数等。
主要的收获是 Airflow REST API 可以在这里提供帮助,您可以通过几种不同的方式发送 POST
请求,但是您觉得这样做很舒服。