Ambari 为所有服务缩放内存

Question

最初我有两台机器要设置 hadoop, spark, hbase, kafka, zookeeper, MR2。每台机器都有 16GB 的内存。我使用 Apache Ambari 为两台机器设置了上述服务。

现在我已经将每台机器的 RAM 升级到 128GB。

我现在如何告诉 Ambari 扩展其所有服务以利用额外的内存？

我是否需要了解这些服务的内存是如何配置的？

Ambari 文档中是否包含这部分内容？

Answer 1

Ambari 在安装时计算每个服务的内存使用推荐设置。因此，内存更改 post 安装不会向上扩展。您必须为每项服务手动编辑这些设置。为了做到这一点，您需要了解应如何为每个服务配置内存。我不知道有任何 Ambari 文档会为每个服务推荐内存配置值。我会建议以下路线之一：

1) 查看每个服务文档（YARN、Oozie、Spark 等）并查看他们对内存相关参数配置的建议。

2) 查看计算这些内存参数的推荐值的 Ambari 代码，并使用这些方程式得出新的值来说明增加的内存。

Answer 2

我用过这个https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.0/bk_installing_manually_book/content/determine-hdp-memory-config.html

此外，Smartsense 是必须的http://docs.hortonworks.com/HDPDocuments/SS1/SmartSense-1.2.0/index.html

我们需要定义核心、内存、磁盘，如果我们使用或不使用 Hbase，脚本将为 yarn 和 mapreduce 提供内存设置。

root@ttsv-lab-vmdb-01 scripts]# python yarn-utils.py -c 8 -m 128 -d 3 -k True
     Using cores=8 memory=128GB disks=3 hbase=True
     Profile: cores=8 memory=81920MB reserved=48GB usableMem=80GB disks=3
     Num Container=6
     Container Ram=13312MB
     Used Ram=78GB
     Unused Ram=48GB
     yarn.scheduler.minimum-allocation-mb=13312
     yarn.scheduler.maximum-allocation-mb=79872
     yarn.nodemanager.resource.memory-mb=79872
     mapreduce.map.memory.mb=13312
     mapreduce.map.java.opts=-Xmx10649m
     mapreduce.reduce.memory.mb=13312
     mapreduce.reduce.java.opts=-Xmx10649m
     yarn.app.mapreduce.am.resource.mb=13312
     yarn.app.mapreduce.am.command-opts=-Xmx10649m
     mapreduce.task.io.sort.mb=5324

除此之外，我们还有公式可以手动计算。我尝试使用此设置，它对我有用。

Ambari 为所有服务缩放内存

Ambari scaling memory for all services

hadoop

hadoop2

ambari