运行 气流主节点上的特定任务
Running a particular task on airflow master node
我有一个 dag,其中包含 运行 在不同工作节点上使用 celery 执行程序的任务列表。但是我想 运行 主节点上的任务之一。那可能吗?
是的,这是可能的。您可以设置特定任务以收听特定 queues in Celery。气流文档很好地涵盖了它,但它的要点是:
将表示您要在特定节点上 运行 的任务的运算符的队列属性设置为不同于 airflow.cfg
中的 celery -> default_queue
值的值
运行 主节点上的工作进程通过指定它需要侦听的队列 airflow worker -q queue_name
。如果您希望您的工作人员收听多个队列,您可以使用逗号分隔列表 airflow worker -q default_queue,queue_name
我有一个 dag,其中包含 运行 在不同工作节点上使用 celery 执行程序的任务列表。但是我想 运行 主节点上的任务之一。那可能吗?
是的,这是可能的。您可以设置特定任务以收听特定 queues in Celery。气流文档很好地涵盖了它,但它的要点是:
将表示您要在特定节点上 运行 的任务的运算符的队列属性设置为不同于
airflow.cfg
中的celery -> default_queue
值的值运行 主节点上的工作进程通过指定它需要侦听的队列
airflow worker -q queue_name
。如果您希望您的工作人员收听多个队列,您可以使用逗号分隔列表airflow worker -q default_queue,queue_name