Airflow 网络服务器导致 OS 崩溃

Question

我在 Ubuntu VM 上运行 Airflow。这是我的 Airflow 配置文件值：

plugins_folder = /home/helia/airflow/utils
dags_folder = /home/helia/airflow/dags

这是我相应设置的环境变量：

>>echo $PYTHONPATH
/home/helia/airflow:/home/helia/airflow/utils
>>>echo $AIRFLOW_HOME
/home/helia/airflow

如果我将 cfg 文件中的插件文件夹路径设置为某个不存在的文件，网络服务器会成功启动并快速产生错误。但是，如果我将 cfg 文件插件路径更改为正确的路径，OS 每次都会崩溃，并且 CPU、交换 space 和内存使用率为 100%。我尝试增加处理器数量和内存大小，但没有任何改善。

我正在使用：
气流 1.10.12
Python 3.8
UBUNTU20.1

Answer 1

恐怕是您的自定义插件导致 OS 崩溃。在不知道和无法访问您的插件的情况下，任何人都无能为力。你必须回到那些编写这些插件的人那里来调试它们。 –

插件由webserver加载（插件的一个特点是可以扩展webserver的UI）。根据您的部署，“插件”文件夹应该与网络服务器共享（通常通过共享文件系统）–

Airflow webserver causes OS to crash