kubernetes 上的气流:如何从本地文件系统加载 dag 文件?
airflow on kubernetes: how to load dag files from local filesystem?
我想为我的 k8s 集群安装 airflow。我尝试使用 bitnami 存储库,但我想知道如何从我的本地文件系统加载 dag 文件。
我们实施的一个解决方案是
- 将 dags、sqls、utils、插件保留在 github(或任何其他 repo)
- 如果您使用 AWS 的 k8s,则使用 EFS(共享文件系统)。
- 你可以查看https://github.com/kubernetes-retired/external-storage/tree/master/aws/efs
- 然后您需要将调度程序和网络服务器的 efs 卷挂载为只读选项。
这是我们的首选方法。
我想为我的 k8s 集群安装 airflow。我尝试使用 bitnami 存储库,但我想知道如何从我的本地文件系统加载 dag 文件。
我们实施的一个解决方案是
- 将 dags、sqls、utils、插件保留在 github(或任何其他 repo)
- 如果您使用 AWS 的 k8s,则使用 EFS(共享文件系统)。
- 你可以查看https://github.com/kubernetes-retired/external-storage/tree/master/aws/efs
- 然后您需要将调度程序和网络服务器的 efs 卷挂载为只读选项。
这是我们的首选方法。