是否可以让来自多个数据中心的节点加入同一个 Spark 集群?

Is it possible to have nodes from multiple datacenters join the same Spark cluster?

我是 运行 Datastax Enterprise 集群(GossipingPropertyFileSnitch)。我有两个数据中心,AnalyticsCassandraAnalytics 个节点组成一个 Spark 集群。我正在考虑合并两个集群以更好地利用资源。

当我在 Cassandra 节点上启用 Spark(在 /etc/dse/default 中)时,我得到了一个新的主节点,这些节点似乎没有加入与 [=11= 相同的 Spark 集群] 节点。我能否以某种方式让 Cassandra 数据中心节点加入 Analytics Spark 集群?

因为您正在使用 GossipingPropertyFileSnitch,您还必须更改新 Spark 节点所在的 DC。否则它们将继续位于 so-named "Cassandra" 数据中心。

编辑: 您的标题问题的简短答案是 "No"。单独的 DC 分配了单独的 spark master,并且不共享 spark 作业的资源。