Datastax Enterprise 集群中的 Spark master 是如何选举出来的？

Question

Datastax Enterprise 集群中的 Spark master 是如何选举出来的？我查看了 /etc/dse/dse-env.sh 和 /etc/dse/spark/spark-defaults.conf 以及 /etc/dse/spark/spark-env.sh 中的配置。但是我在这些位置都找不到它？

在我们的集群上，Spark master 在服务重启后继续从一个节点移动到另一个节点？

Answer 1

在 DSE 4.6 中，Spark Master / Hadoop Job Tracker（始终在同一节点上）由循环算法确定并存储在 jobtracker table 中。这可能会在未来的版本中改变。

您可以通过以下方式查看您当前的 master 是什么：

dsetool listjt

这将输出您当前的主控和备用主控（如果已配置的话）。

配置备用主机使用：

dsetool reservejt

输出可能如下所示：

 $ dsetool listjt DC                             JobTracker   
 --                             --            
 Analytics-Analytics            192.168.101.122 
 ------ Reserve-JT = 192.168.101.121

Datastax Enterprise 集群中的 Spark master 是如何选举出来的？

How is the Spark master elected in a Datastax Enterprise cluster?

datastax

apache-spark