ECS 中多个容器中的气流 运行。在所有气流组件之间共享 DAGS 的 easy/elegante 方式?
Airflow running in multiple containers in ECS. An easy/elegante way of sharing DAGS between all the airflow-components?
我们在 ECS 的多个组件中有 Airflow 运行。
我很好奇人们是如何轻松解决 sharing/updating Dag 的问题的,因为所有这些气流组件都需要共享 dag 文件。
我推荐大家 Git-sync 运行 作为 sidecar 容器(每个组件都有自己的 Git-sync 侧容器,通过共享卷与组件共享 DAG)。它具有许多优势和“企业”功能([=17= 中的 DAG 历史记录]、代码审查可能性、与 [=16= 的集成]、变更审计、DAG 及其依赖项的原子更新,应有尽有)
也有人在使用亚马逊时更喜欢使用EFS卷。这行得通,但恕我直言有一些缺点(有时当你有很多 DAG 时速度会变慢,缺少多个文件的原子更新等)并且在任何严肃的部署中你将不得不实现我上面提到的许多功能。
将 Git 作为单一事实来源和所有可用于管理代码的工具(DAG 是有效的代码)Git-Sync 是更好和完整的解决方案恕我直言。
我们在 ECS 的多个组件中有 Airflow 运行。
我很好奇人们是如何轻松解决 sharing/updating Dag 的问题的,因为所有这些气流组件都需要共享 dag 文件。
我推荐大家 Git-sync 运行 作为 sidecar 容器(每个组件都有自己的 Git-sync 侧容器,通过共享卷与组件共享 DAG)。它具有许多优势和“企业”功能([=17= 中的 DAG 历史记录]、代码审查可能性、与 [=16= 的集成]、变更审计、DAG 及其依赖项的原子更新,应有尽有)
也有人在使用亚马逊时更喜欢使用EFS卷。这行得通,但恕我直言有一些缺点(有时当你有很多 DAG 时速度会变慢,缺少多个文件的原子更新等)并且在任何严肃的部署中你将不得不实现我上面提到的许多功能。
将 Git 作为单一事实来源和所有可用于管理代码的工具(DAG 是有效的代码)Git-Sync 是更好和完整的解决方案恕我直言。