运行 气流主节点上的特定任务

Running a particular task on airflow master node

我有一个 dag,其中包含 运行 在不同工作节点上使用 celery 执行程序的任务列表。但是我想 运行 主节点上的任务之一。那可能吗?

是的,这是可能的。您可以设置特定任务以收听特定 queues in Celery。气流文档很好地涵盖了它,但它的要点是:

  1. 将表示您要在特定节点上 运行 的任务的运算符的队列属性设置为不同于 airflow.cfg 中的 celery -> default_queue 值的值

  2. 运行 主节点上的工作进程通过指定它需要侦听的队列 airflow worker -q queue_name。如果您希望您的工作人员收听多个队列,您可以使用逗号分隔列表 airflow worker -q default_queue,queue_name