Ambari hadoop集群+修改配置的最佳方式
Ambari hadoop cluster + the best way to Modify configurations
我们有 ambari 集群,客户端安装在 Linux redhat 机器上,
yum list | grep ambari-server
ambari-server.x86_64 2.5.0.3-7 @ambari-2.5.0.3
我们找到了一种在 ambari 集群中设置更新值的好方法,如下所示:
更新参数(来自 Ambari 服务器计算机)
/var/lib/ambari-server/resources/scripts/configs.sh set localhost c1 mapred-site "mapreduce.map.memory.mb" "512"
同时:
CONFIG_TYPE = mapred-site
CONFIG_KEY = mapreduce.map.memory.mb
但是我们这里有个小问题......:[=17=]
在我的示例中 - mapred-site 是“CONFIG-TYPE”
根据脚本-help:
<CONFIG_TYPE>: One of the various configuration types in Ambari. Ex:global, core-site, hdfs-site, mapred-queue-acls, etc.
那么如何知道 CONFIG_KEY 值的正确 CONFIG_TYPE 值呢?,
有关脚本的更多信息:
https://cwiki.apache.org/confluence/display/AMBARI/Modify+configurations“使用 configs.sh 编辑配置”段落
备注 - 为了查看所有 CONFIG-TYPE 值和 CONFIG_KEY 值,我生成了以下 blueprint.json 文件:
curl -u admin:admin -H "X-Requested-By: ambari" -X GET http://101.16.235.2:8080/api/v1/clusters/HDP01?format=blueprint -o /tmp/blueprint.json
.
grep "\-site" /tmp/blueprint.json
"tez-interactive-site" : {
"hdfs-site" : {
"yarn-site" : {
"hiveserver2-site" : {
"ams-hbase-security-site" : {
"ams-site" : {
"mapred-site" : {
"hive-site" : {
"tez-site" : {
"webhcat-site" : {
您还可以克隆 Ambari 存储库和 grep/parse 配置文件,例如
https://github.com/apache/ambari/blob/trunk/ambari-server/src/main/resources/common-services/HDFS/2.1.0.2.0/configuration/core-site.xml
每个堆栈的配置,例如 https://github.com/apache/ambari/blob/trunk/ambari-server/src/main/resources/stacks/HDP/2.6/services/HDFS/configuration/core-site.xml inherit/override 来自公共服务和以前堆栈版本的值。
希望对您有所帮助
我们有 ambari 集群,客户端安装在 Linux redhat 机器上,
yum list | grep ambari-server
ambari-server.x86_64 2.5.0.3-7 @ambari-2.5.0.3
我们找到了一种在 ambari 集群中设置更新值的好方法,如下所示:
更新参数(来自 Ambari 服务器计算机)
/var/lib/ambari-server/resources/scripts/configs.sh set localhost c1 mapred-site "mapreduce.map.memory.mb" "512"
同时:
CONFIG_TYPE = mapred-site
CONFIG_KEY = mapreduce.map.memory.mb
但是我们这里有个小问题......:[=17=]
在我的示例中 - mapred-site 是“CONFIG-TYPE”
根据脚本-help:
<CONFIG_TYPE>: One of the various configuration types in Ambari. Ex:global, core-site, hdfs-site, mapred-queue-acls, etc.
那么如何知道 CONFIG_KEY 值的正确 CONFIG_TYPE 值呢?,
有关脚本的更多信息:
https://cwiki.apache.org/confluence/display/AMBARI/Modify+configurations“使用 configs.sh 编辑配置”段落
备注 - 为了查看所有 CONFIG-TYPE 值和 CONFIG_KEY 值,我生成了以下 blueprint.json 文件:
curl -u admin:admin -H "X-Requested-By: ambari" -X GET http://101.16.235.2:8080/api/v1/clusters/HDP01?format=blueprint -o /tmp/blueprint.json
.
grep "\-site" /tmp/blueprint.json
"tez-interactive-site" : {
"hdfs-site" : {
"yarn-site" : {
"hiveserver2-site" : {
"ams-hbase-security-site" : {
"ams-site" : {
"mapred-site" : {
"hive-site" : {
"tez-site" : {
"webhcat-site" : {
您还可以克隆 Ambari 存储库和 grep/parse 配置文件,例如 https://github.com/apache/ambari/blob/trunk/ambari-server/src/main/resources/common-services/HDFS/2.1.0.2.0/configuration/core-site.xml
每个堆栈的配置,例如 https://github.com/apache/ambari/blob/trunk/ambari-server/src/main/resources/stacks/HDP/2.6/services/HDFS/configuration/core-site.xml inherit/override 来自公共服务和以前堆栈版本的值。
希望对您有所帮助