databricks 上的 psutil 库安装问题

Question

我在我的 databricks 集群上使用 psutil 库，它在过去几周运行还不错。当我今天启动集群时，这个特定的库安装失败。我注意到站点中更新了不同版本的 psutil。

目前我的 python 脚本因 'No module psutil'

而失败

尝试使用 pip install 安装以前版本的 psutil，但我的代码仍然失败并出现相同的错误。

有没有 psutil 的替代品，或者有没有办法在数据块中安装它

Answer 1

据我所知，有两种方法可以在 Azure Databricks 集群中安装 Python 包，如下所示。

如下两图，移动到你集群的Libraries标签页，点击Install New按钮，输入你要安装的包名，然后等待安装成功
打开一个笔记本，输入shell命令如下，通过pip安装一个Python包。注意：这里要在databricks集群当前环境安装，不是Linux的系统环境，必须用/databricks/python/bin/pip，不能只用pip.
```
%sh
/databricks/python/bin/pip install psutil
```

最后，我运行下面的代码，它适用于上面的两种方式。

import psutil
for proc in psutil.process_iter(attrs=['pid', 'name']):
  print(proc.info)

psutil.pid_exists(<a pid number in the printed list above>)

Answer 2

除了@Peter 回复之外，您还可以使用"Library utilities" 安装Python 库。

库实用程序允许您安装 Python 库并创建一个仅限笔记本会话的环境。这些库在驱动程序和执行程序上均可用，因此您可以在 UDF 中引用它们。这使得：

示例： 使用库实用程序安装“psutil”库：

dbutils.library.installPyPI("psutil")

希望对您有所帮助。

psutil library installation issue on databricks