纱线中的 Mem 可用性 UI
Mem Avail in yarn UI
纱线UI中的Mem Avail是什么意思？
我将 yarn.scheduler.minimum-allocation-mb 设置为 1024，将 yarn.scheduler.maximum-allocation-mb 设置为 4096。yarn.nodemanager.resource.memory-mb 也默认设置为 -1。我可以看到每个节点的内存都是空闲的，UI 显示 Phys Mem Used 仅为 14%。然而，Mem Avail是0B，我不知道它是什么以及如何增加它。
我找到答案了！
它等于 yarn.nodemanager.resource.memory-mb，即 YARN 可以在给定 node 的 a 上使用的内存总量。根据您计划处理的数据量，您可能需要在 yarn-site.xml 中将其设置得更高。
此配置的默认值为 8GB，尽管使用 getconf 命令你会看到 -1 这并不意味着总内存系统的。
之前：
$ hdfs getconf -confKey yarn.nodemanager.resource.memory-mb
-1
在yarn-site.xml中设置后：
$ hdfs getconf -confKey yarn.nodemanager.resource.memory-mb
40960
结果：
纱线UI中的Mem Avail是什么意思？
我将 yarn.scheduler.minimum-allocation-mb 设置为 1024，将 yarn.scheduler.maximum-allocation-mb 设置为 4096。yarn.nodemanager.resource.memory-mb 也默认设置为 -1。我可以看到每个节点的内存都是空闲的，UI 显示 Phys Mem Used 仅为 14%。然而，Mem Avail是0B，我不知道它是什么以及如何增加它。
我找到答案了！
它等于 yarn.nodemanager.resource.memory-mb，即 YARN 可以在给定 node 的 a 上使用的内存总量。根据您计划处理的数据量，您可能需要在 yarn-site.xml 中将其设置得更高。
此配置的默认值为 8GB，尽管使用 getconf 命令你会看到 -1 这并不意味着总内存系统的。
之前：
$ hdfs getconf -confKey yarn.nodemanager.resource.memory-mb
-1
在yarn-site.xml中设置后：
$ hdfs getconf -confKey yarn.nodemanager.resource.memory-mb
40960
结果：