在 AWS EMR 中下载 nltk 会出现“[Errno 28] No space left on device”

Question

我在 运行 Amazon AWS EMR 集群中的以下代码时遇到 'No Space' 错误。

import nltk
nltk.download('all')

我在命令行查看了内存，下面是可用内存的截图available memory in the cluster。请介绍我。

Answer 1

NLTK 下载器将数据下载到基于 Unix/Linux 的操作系统上的目录 /usr/share/nltk_data/。

将此数据下载到具有足够磁盘空间和写入权限的其他位置。

python -m nltk.downloader -d /mnt/nltk_data all

由于现在更改了默认数据位置，因此相应地设置 NLTK_DATA 环境变量。

export NLTK_DATA=/mnt/nltk_data

您的实例似乎 运行 root 下的磁盘空间不足。 / 目录已填充到 100%，请在继续之前释放一些磁盘空间。