在 Cloudera Spark2 中为网关分配角色时是否有任何通用规则?

Is there any general rule when assigning role to gateway in Cloudera Spark2?

我计划在 Cloudera 中将现有的 Spark 1.6 升级到 2.1,有人建议我应该为所有节点管理器和资源管理器节点分配网关角色。当前的gateway角色分配给了一个proxy节点,这个proxy节点没有包含在计划的Spark2中,原因是proxy节点的角色太多(20+),不知道有没有人可以在这里给点建议?我查看了 Cloudera 文档,但没有看到相关指南(或者我错过了?)

非常感谢。

网关角色只有/etc/hadoop/conf/*等配置文件。它允许客户端 运行 在该主机上(hdfs、hadoop、yarn、spark CLI)并向集群提交命令。默认情况下,任何主机 运行 服务都将包含配置文件,因此您无需向节点管理器和资源管理器角色添加网关角色。

官方文档是这样描述的: Managing Roles: Gateway Roles

A gateway is a special type of role whose sole purpose is to designate a host that should receive a client configuration for a specific service, when the host does not have any roles running on it. Gateway roles enable Cloudera Manager to install and manage client configurations on that host. There is no process associated with a gateway role, and its status will always be Stopped. You can configure gateway roles for HBase, HDFS, Hive, Kafka, MapReduce, Solr, Spark, Sqoop 1 Client, and YARN.

我有点不同意另一个答案

By default any host running a service will have the config files included so you don't need to add a gateway role to your Node Manager and Resource Manager roles

仅在节点上安装节点管理器和资源管理器 运行 将 为您提供 YARN 的配置文件,而不是 Spark2。话虽这么说,您只需要将 Spark 网关角色部署到您的边缘节点,您可以在边缘节点允许最终用户登录和 运行 命令行工具,例如 beeline、hdfs 命令和 spark-shell/spark-submit。作为一项安全策略,不应允许任何人登录您的节点 Manager/Datanode。

在你的例子中,它看起来像你所说的代理节点。网关只是配置文件,不是 运行ning 进程。所以我认为你不需要担心太多现有角色。