如何最好地集成 AWS MWAA 和 Docker?
How do I best integrate AWS MWAA and Docker?
我们的数据管道设置目前在 EC2 实例上使用 Docker 容器 运行ning 并将 Apache Airflow 作为编排工具。我们正在尝试转向 MWAA,以获得与托管服务相关的优势(可扩展性、维护、调度程序监控等...)。我的问题是将 Docker 与 MWAA 集成的最佳方式是什么?目前我们 运行 我们的 services/app 通过 Airflow 上的 DockerOperator。我们需要在 MWAA 环境中获得 Docker 运行ning 吗?如有任何建议,我们将不胜感激。
我建议继续使用 ECS 或 ECS Fargate 和 运行 你的 Docker 容器。
MWAA 支持与 Fargate 和其他服务的开源集成,因此可以轻松与 Airflow 集成以进行编排
我们的数据管道设置目前在 EC2 实例上使用 Docker 容器 运行ning 并将 Apache Airflow 作为编排工具。我们正在尝试转向 MWAA,以获得与托管服务相关的优势(可扩展性、维护、调度程序监控等...)。我的问题是将 Docker 与 MWAA 集成的最佳方式是什么?目前我们 运行 我们的 services/app 通过 Airflow 上的 DockerOperator。我们需要在 MWAA 环境中获得 Docker 运行ning 吗?如有任何建议,我们将不胜感激。
我建议继续使用 ECS 或 ECS Fargate 和 运行 你的 Docker 容器。
MWAA 支持与 Fargate 和其他服务的开源集成,因此可以轻松与 Airflow 集成以进行编排