即使使用 requirements.txt,AWS MWAA 中也没有名为 ____ 的模块错误
No module named ____ error in AWS MWAA even with requirements.txt
我已经将我的 requirementst.txt 上传到 dag 并在创建我的 Airflow 环境时引用它。这是我的 requirements.txt 的样子:
apache-airflow==1.10.12
oauth2client==4.1.3
google-api-python-client==2.2.0
Flask-AppBuilder==2.3.3
boto3==1.17.59
但是,我在气流环境中不断收到“没有名为 oauthclient 的模块”错误。如何检查 oauthclient 是否实际安装或 Airflow 是否未正确读取我的 requirements.txt 文件?
提前致谢。
我通过重新创建我的环境解决了这个问题。看起来 AWS MWAA 只运行您的 requirements.txt 一次,因此您在创建环境后所做的任何更新都不会应用。
您不需要重新创建 MWAA。 MWAA 使用版本控制的 S3 存储桶。您的 requirements.txt
也有版本控制,如果您不手动制作它,请坚持使用旧版本,指向最新版本。
只需转到 MWAA 页面,单击“编辑”,然后选择 requirements.txt
的最新版本。然后会更新。
mwaa 应该再次读取 requirement.txt,如果您通过控制台编辑 mwaa 配置并按保存或从 cli,运行:
aws mwaa update-environment --name <环境名称>
更新 MWAA 中的要求并不简单:
- 一旦更改了需求文本,您必须再次重建环境
- 执行此操作之前,请仔细检查以确保您在环境创建页面select编辑了正确版本的需求 .txt 文件
- 大多数时候.txt文件的版本是旧的,你必须手动select最新的!
- 简单地编辑和更新现有环境将安装旧版本的 requirements.txt 文件!
我已经将我的 requirementst.txt 上传到 dag 并在创建我的 Airflow 环境时引用它。这是我的 requirements.txt 的样子:
apache-airflow==1.10.12
oauth2client==4.1.3
google-api-python-client==2.2.0
Flask-AppBuilder==2.3.3
boto3==1.17.59
但是,我在气流环境中不断收到“没有名为 oauthclient 的模块”错误。如何检查 oauthclient 是否实际安装或 Airflow 是否未正确读取我的 requirements.txt 文件?
提前致谢。
我通过重新创建我的环境解决了这个问题。看起来 AWS MWAA 只运行您的 requirements.txt 一次,因此您在创建环境后所做的任何更新都不会应用。
您不需要重新创建 MWAA。 MWAA 使用版本控制的 S3 存储桶。您的 requirements.txt
也有版本控制,如果您不手动制作它,请坚持使用旧版本,指向最新版本。
只需转到 MWAA 页面,单击“编辑”,然后选择 requirements.txt
的最新版本。然后会更新。
mwaa 应该再次读取 requirement.txt,如果您通过控制台编辑 mwaa 配置并按保存或从 cli,运行: aws mwaa update-environment --name <环境名称>
更新 MWAA 中的要求并不简单:
- 一旦更改了需求文本,您必须再次重建环境
- 执行此操作之前,请仔细检查以确保您在环境创建页面select编辑了正确版本的需求 .txt 文件
- 大多数时候.txt文件的版本是旧的,你必须手动select最新的!
- 简单地编辑和更新现有环境将安装旧版本的 requirements.txt 文件!