kubernetes 上的气流:如何安装额外的 python 包?
airflow on kubernetes: How to install extra python packages?
我使用 bitnami repo 安装了气流:为了安装额外的 python 包,我安装了一个额外的卷
我准备了我的 requirements.txt 文件,然后我使用 kubectl create -n airflow configmap requirements --from-file=requirements.txt 创建了一个 ConfigMap这是我使用 helm upgrade 升级了 airflow....
但是在我的 dags 文件中,我仍然收到错误消息“ModuleNotFoundError:没有名为 'yfinance' 的模块”
将此发布为社区 wiki 以获得更好的可见性。随意扩展它。
正如@Elpis 在评论部分所写,他遵循this guide 在 Kubernetes 上安装 Apache Airflow。
然后他通过将 extraVolumeMounts
和 extraVolumes
添加到 worker pod 以及 web pod 和 调度器 pod.
extraVolumeMounts:
- name: requirements
mountPath: /bitnami/python/
## Add extra volumes
extraVolumes:
- name: requirements
configMap:
# Provide the name of the ConfigMap containing the files you want
# to add to the container
name: requirements
之后,安装了所有额外的 Python 软件包。
我使用 bitnami repo 安装了气流:为了安装额外的 python 包,我安装了一个额外的卷
我准备了我的 requirements.txt 文件,然后我使用 kubectl create -n airflow configmap requirements --from-file=requirements.txt 创建了一个 ConfigMap这是我使用 helm upgrade 升级了 airflow....
但是在我的 dags 文件中,我仍然收到错误消息“ModuleNotFoundError:没有名为 'yfinance' 的模块”
将此发布为社区 wiki 以获得更好的可见性。随意扩展它。
正如@Elpis 在评论部分所写,他遵循this guide 在 Kubernetes 上安装 Apache Airflow。
然后他通过将 extraVolumeMounts
和 extraVolumes
添加到 worker pod 以及 web pod 和 调度器 pod.
extraVolumeMounts:
- name: requirements
mountPath: /bitnami/python/
## Add extra volumes
extraVolumes:
- name: requirements
configMap:
# Provide the name of the ConfigMap containing the files you want
# to add to the container
name: requirements
之后,安装了所有额外的 Python 软件包。