YARN-指定哪个应用程序在哪个节点管理器上运行
YARN-Specify Which Application to be Run on Which Nodemanager
我有一个 Hadoop YARN 集群，包括一个资源管理器和 6 个节点管理器。我想 运行 集群上的 Flink 和 Spark 应用程序。所以我有两个关于 YARN 的主要问题：
- 如果是 Spark，我应该在资源管理器和每个节点管理器上安装和配置 Spark 吗？当我想在YARN上提交一个Spark应用时，除了YARN resourcemanager和nodemanagers之外，Spark cluster(master and slaves)应该是运行?
- 我可以设置 YARN 使得 运行 Flink 在一些特殊的节点管理器中吗？
谢谢
对于第一个问题，这取决于您是否使用打包的 Hadoop 发行版（例如 Cloudera CDH、Hortonworks HDP）。发行版可能会解决这个问题。如果您不使用发行版，则需要考虑是要 运行 Spark on YARN 还是 Spark stand-alone。
对于第二个问题，如果您使用的是启用了节点标记功能的 Capacity Scheduler，并且您使用的是 Hadoop 2.6 及更高版本，则可以指定特殊的节点管理器。
我有一个 Hadoop YARN 集群，包括一个资源管理器和 6 个节点管理器。我想 运行 集群上的 Flink 和 Spark 应用程序。所以我有两个关于 YARN 的主要问题：
- 如果是 Spark，我应该在资源管理器和每个节点管理器上安装和配置 Spark 吗？当我想在YARN上提交一个Spark应用时，除了YARN resourcemanager和nodemanagers之外，Spark cluster(master and slaves)应该是运行?
- 我可以设置 YARN 使得 运行 Flink 在一些特殊的节点管理器中吗？
谢谢
对于第一个问题，这取决于您是否使用打包的 Hadoop 发行版（例如 Cloudera CDH、Hortonworks HDP）。发行版可能会解决这个问题。如果您不使用发行版，则需要考虑是要 运行 Spark on YARN 还是 Spark stand-alone。
对于第二个问题，如果您使用的是启用了节点标记功能的 Capacity Scheduler，并且您使用的是 Hadoop 2.6 及更高版本，则可以指定特殊的节点管理器。