纱线本地目录 - 每个节点设置

Question

我的生产集群不时遇到一系列 devops 问题。时不时地，/ 分区会在几个节点上不堪重负。长话短说，事实证明这些节点有 1 个而不是 2 个数据驱动器。如果我们的集群上没有以下设置，这将不是问题：

   <property>       
      <name>yarn.nodemanager.local-dirs</name>       
      <value>/data1/hadoop/yarn/local,/data2/hadoop/yarn/local</value> 
   </property>

一些 devops 或其他人，注意到 较小的 节点上没有 /data2 分区，想出了简单地使用 / 分区的想法。由于 / 是 16GB，一些对数据要求更高的工作很快就会填满。

现在，我的问题是：yarn 是否支持 yarn.nodemanager.local-dirs 的每个节点设置？

我通过从故事中删除 /data2/hadoop/yarn/local 解决了问题，但感觉并不完美。

我们正在使用 HDP 2.6.4。

谢谢！

Answer 1

YARN 允许这样做，因为每个节点管理器都会读取它的本地 yarn-site.xml。但是，我不知道您将如何在 Ambari 中执行此操作。

纱线本地目录 - 每个节点设置

Yarn local-dirs - per node setup

hadoop-yarn

devops

hdp