在 google cloud composer 2.0.1 上更新 pypi 包后，气流调度程序停止工作

Question

我正在尝试从 google cloud composer composer-1.16.4-airflow-1.10.15 迁移到 composer-2.0.1-airflow-2.1.4，但是我们遇到了一些困难库，因为每次我上传库时，调度程序都无法工作。

这是我的 requirements.txt

flashtext
ftfy
fsspec==2021.11.1
fuzzywuzzy
gcsfs==2021.11.1
gitpython
google-api-core
google-api-python-client
google-cloud
google-cloud-bigquery-storage==1.1.0
google-cloud-storage
grpcio
sklearn
slackclient
tqdm
salesforce-api
pyjwt
google-cloud-secret-manager==1.0.0
pymysql
gspread
fasttext
spacy
click==7.1.2
papermill==2.1.1
tornado>=6.1
jupyter

这是我用来更新库的代码：

gcloud composer environments update $AIRFLOW_ENV \                   
    --update-pypi-packages-from-file requirements.txt \
    --location $AIRFLOW_LOCATION

它运行成功，但随后 dag 任务不再被调度，调度程序检测信号变为已读。

我已经尝试删除所有库，并且在一段时间后再次安排。我尝试仅通过界面添加简单库：pandas 或 flashtext 但在更新后，计划再次变为红色并且任务保持未计划状态。

我在日志界面找不到任何错误日志。您是否知道我如何查看有关这些错误的一些日志，或者您是否知道为什么这些库使我的环境失败？

谢谢

Answer 1

我们已经知道发生了什么。根本原因是工人的表现。为了正常工作，composer 希望 dag 的扫描占用 CPU 资源的不到 15%。如果超过此限制，则无法安排或更新 dag。我们刚刚采用了更大的工人并且效果很好

在 google cloud composer 2.0.1 上更新 pypi 包后，气流调度程序停止工作

The airflow scheduler stops working after updating pypi packages on google cloud composer 2.0.1

airflow

airflow-scheduler

google-cloud-composer