如何在芹菜中使用气流
How to use airflow with Celery
我是 airflow 和 celery 的新手，我现在已经画完了 dag，但是我想 运行 在同一子网的两台计算机上任务，我想知道如何修改airflow.cfg。一些例子可能会更好。感谢任何答案orz.
Airflow documentation 很好地涵盖了这一点：
首先，您需要一个 celery 后端。这可以是例如 Redis 或 RabbitMQ。然后，airflow.cfg 中的执行器参数应设置为 CeleryExecutor。
然后，在 airflow.cfg 的 celery 部分，将 broker_url 设置为指向您的 celery 后端（例如 redis://your_redis_host:your_redis_port/1).
将 celery_result_backend 指向 sql 数据库（您可以使用与主气流数据库相同的数据库）。
然后，在你的 worker 机器上简单地启动 airflow worker，你的工作应该在两台机器上开始。
我是 airflow 和 celery 的新手，我现在已经画完了 dag，但是我想 运行 在同一子网的两台计算机上任务，我想知道如何修改airflow.cfg。一些例子可能会更好。感谢任何答案orz.
Airflow documentation 很好地涵盖了这一点：
首先，您需要一个 celery 后端。这可以是例如 Redis 或 RabbitMQ。然后，airflow.cfg 中的执行器参数应设置为 CeleryExecutor。
然后，在 airflow.cfg 的 celery 部分，将 broker_url 设置为指向您的 celery 后端（例如 redis://your_redis_host:your_redis_port/1).
将 celery_result_backend 指向 sql 数据库（您可以使用与主气流数据库相同的数据库）。
然后，在你的 worker 机器上简单地启动 airflow worker，你的工作应该在两台机器上开始。