从 Django 芹菜任务迁移到 Apache 气流

Question

我有一个 python/django 项目（运行 在 docker 容器中）。有一个通过 celery 任务实现的数据收集工作流程，这些任务相互依赖并且 运行 并行。

我想将所有这些逻辑迁移到 apache airflow，因为我认为它适合我的需要，启动和重新启动任务、构建更复杂的工作流、监控和调试会更方便。

我以前从未使用过气流。我的计划合理吗？我从哪里开始？我应该使用什么执行器？

Answer 1

有道理，apache airflow 上也有相同的 celery 执行器。

https://airflow.apache.org/docs/stable/executor/index.html

您可以复制您的代码来测试下面的气流 docker。

https://github.com/puckel/docker-airflow

在 airflow 工具上，您可以通过 dag 上的任务管理、调度、监控所有这些代码

上有dags例子

https://github.com/apache/airflow/tree/master/airflow/example_dags

你可以从这个开始 -

https://github.com/apache/airflow/blob/master/airflow/example_dags/tutorial.py