如何测试使用 XCom 的 Apache Airflow 任务

Question

我正在尝试找出一种方法来测试 DAG，我有几个任务使用 XCom 进行通信。

由于控制台命令只允许我从 DAG 执行 运行 任务，有没有一种方法可以测试通信而不必通过 UI 运行 DAG？

谢谢

Answer 1

这是一种对我有用的方法。

即使 Airflow 网页声明测试命令不会生成或保持任何状态，运行按顺序执行气流测试命令仍然有效。

基本上你会：

Airflow test my_dag task1 date
Airflow test my_dag task2 date

其中 task1 returns 值或使用 xcom_push 方法发送值，然后 task2 运行 xcom_pull 获取值并继续。

它对我有用。如果您有不同的方法或其他问题，请发表评论。