在哪个节点上编辑 hadoop .xml 文件?
Which node to edit hadoop .xml files on?
编辑hadoop
.xml
配置文件时(例如hdfs-site.xml),hadoop
集群的哪个节点应该用于编辑文件? IE。有许多节点的集群,所有节点都有一个包含 .xml 和 .properties 文件的 hadoop 文件夹,应该编辑哪些 'set' 文件以进行配置更改?无法通过查看 docs.
来判断
例如。我正在尝试配置 hadoop
以在发现 here 的配置更改后使用 hue
,其中需要向 hdfs-site.xml 添加行,但此文件存在于所有节点上集群。我需要为每个节点手动编辑吗?它是否取决于节点是否是 运行 某个服务(例如,只需要更改节点 运行 资源管理器服务上的配置文件)?
不要经常使用 hadoop
,如有详细说明,将不胜感激。谢谢。
完全披露(澄清):我使用的是 hadoop
的商业版本,名为 mapr
。
认为已经找到答案(来自用户 ProfVersaggi 在另一个 的评论中)。似乎必须将文件更改复制到群集中的所有节点才能使更改生效。
这回答了我最初的问题,但仍然不明白它在表面之下是如何工作的,仍然希望得到任何解释。
this file exists on all nodes of the cluster. Do I need to manually edit for every node?
简答。是的,但请参阅答案底部。
如果您正在设置 Hue,您实际上只需要更改 Hue 服务器上的值。大多数情况下,所有其他节点都应该已经定义了您配置 Hue 所使用的设置。
那些包括
的设置
- HDFS(或 MapR-FS)
- 纱线
- 蜂巢/Impala
- HBase
- 奥齐[=29=]
still don't understand how this works below the surface
Hadoop 及其组件运行 以分布式方式。每台主机上都有读取这些文件的客户端。如果您在给定的机器上没有 Application Master 或 ResourceManager,它显然不需要 yarn-site.xml 或 mapred-site.xml... 同样地,hive-site.xml 用于 Hive & Impala... 就这么简单
using a commercial version of hadoop called mapr
没有使用过 MapR,但如果它没有提供 GUI 来同步配置,我会感到非常惊讶。 Hortonworks 使用 Apache Ambari; Cloudera 使用 Cloudera Manager。
编辑hadoop
.xml
配置文件时(例如hdfs-site.xml),hadoop
集群的哪个节点应该用于编辑文件? IE。有许多节点的集群,所有节点都有一个包含 .xml 和 .properties 文件的 hadoop 文件夹,应该编辑哪些 'set' 文件以进行配置更改?无法通过查看 docs.
例如。我正在尝试配置 hadoop
以在发现 here 的配置更改后使用 hue
,其中需要向 hdfs-site.xml 添加行,但此文件存在于所有节点上集群。我需要为每个节点手动编辑吗?它是否取决于节点是否是 运行 某个服务(例如,只需要更改节点 运行 资源管理器服务上的配置文件)?
不要经常使用 hadoop
,如有详细说明,将不胜感激。谢谢。
完全披露(澄清):我使用的是 hadoop
的商业版本,名为 mapr
。
认为已经找到答案(来自用户 ProfVersaggi 在另一个
这回答了我最初的问题,但仍然不明白它在表面之下是如何工作的,仍然希望得到任何解释。
this file exists on all nodes of the cluster. Do I need to manually edit for every node?
简答。是的,但请参阅答案底部。
如果您正在设置 Hue,您实际上只需要更改 Hue 服务器上的值。大多数情况下,所有其他节点都应该已经定义了您配置 Hue 所使用的设置。
那些包括
的设置- HDFS(或 MapR-FS)
- 纱线
- 蜂巢/Impala
- HBase
- 奥齐[=29=]
still don't understand how this works below the surface
Hadoop 及其组件运行 以分布式方式。每台主机上都有读取这些文件的客户端。如果您在给定的机器上没有 Application Master 或 ResourceManager,它显然不需要 yarn-site.xml 或 mapred-site.xml... 同样地,hive-site.xml 用于 Hive & Impala... 就这么简单
using a commercial version of hadoop called mapr
没有使用过 MapR,但如果它没有提供 GUI 来同步配置,我会感到非常惊讶。 Hortonworks 使用 Apache Ambari; Cloudera 使用 Cloudera Manager。