是什么导致 Hadoop 数据节点被排除在操作之外?
What causes Hadoop datanodes to be excluded from operations?
我是 运行 2 数据节点 Hadoop 集群上的 K-means 作业。当输入数据增长到足够大 (1.5GB) 时,我会得到以下错误:
有 2 个数据节点运行,没有节点被排除在该操作中,有 2 个数据节点被排除在该操作中。
操作正在写入一个文件,正如我还收到的此消息所示:
文件 XXX 只能写入 1 个 minReplication 节点中的 0 个。
为什么要将任何数据节点排除在该操作之外?是因为他们只是忙于其他工作吗?在那种情况下我该如何解决这个问题?
在 K-means 作业期间,磁盘 space 似乎在数据节点上 运行。这就是导致节点被排除在文件写入之外的原因。似乎还有足够的 space 剩余,但节点已被排除在 90% 的磁盘 space 使用率。
简短回答:缺少磁盘 space 可以从文件写入操作中排除节点。
我是 运行 2 数据节点 Hadoop 集群上的 K-means 作业。当输入数据增长到足够大 (1.5GB) 时,我会得到以下错误:
有 2 个数据节点运行,没有节点被排除在该操作中,有 2 个数据节点被排除在该操作中。
操作正在写入一个文件,正如我还收到的此消息所示: 文件 XXX 只能写入 1 个 minReplication 节点中的 0 个。
为什么要将任何数据节点排除在该操作之外?是因为他们只是忙于其他工作吗?在那种情况下我该如何解决这个问题?
在 K-means 作业期间,磁盘 space 似乎在数据节点上 运行。这就是导致节点被排除在文件写入之外的原因。似乎还有足够的 space 剩余,但节点已被排除在 90% 的磁盘 space 使用率。
简短回答:缺少磁盘 space 可以从文件写入操作中排除节点。