损坏的 DAG：urllib3 1.25.3 (/home/ubuntu/.local/lib/python3.7/site-packages), Requirement.parse('urllib3<1.25,>=1.21'), {'sagemaker'}

Question

我已经使用 SageMakerOperators 在 Airflow 中创建了一个 DAG，但我无法让它们工作。标题是airflow GUI中出现的错误。为了解决这个问题，我做了以下尝试：

sudo pip3 uninstall urllib3 && sudo pip3 install urllib3==1.22 
sudo pip3 install urllib3==1.22 --upgrade
sudo pip3 install urllib3==1.22 -t /home/ubuntu/.local/lib/python3.7/site-packages -upgrade

但我仍然在 GUI 中遇到错误。另外，在网络服务器的控制台中，我得到：

FileNotFoundError: [Errno 2] No such file or directory: '/home/ubuntu/.local/lib/python3.7/site-packages/urllib3-1.22.dist-info/METADATA'

问题是，如果我 pip3 show urllib3 我得到版本 1.22：

但是，它显示 dist-packages 而不是 site-packages。另外，尝试去/home/ubuntu/.local/lib/python3.7/site-packages/urllib3-1.22.dist-info/尝试解决metadata file not found错误，目录不存在。

此时我完全迷失了。我该如何解决这个问题？

Answer 1

给你。

Airflow 正在本地（用户）Python 安装中查找库，但 urllib3 已为所有用户安装。这很奇怪，但尝试做 pip3 install --user urllib3==1.22.

损坏的 DAG：urllib3 1.25.3 (/home/ubuntu/.local/lib/python3.7/site-packages), Requirement.parse('urllib3<1.25,>=1.21'), {'sagemaker'}

Broken DAG: urllib3 1.25.3 (/home/ubuntu/.local/lib/python3.7/site-packages), Requirement.parse('urllib3<1.25,>=1.21'), {'sagemaker'}

python

airflow

amazon-sagemaker

urllib3