是否可以让来自多个数据中心的节点加入同一个 Spark 集群?
Is it possible to have nodes from multiple datacenters join the same Spark cluster?
我是 运行 Datastax Enterprise 集群(GossipingPropertyFileSnitch
)。我有两个数据中心,Analytics
和 Cassandra
。 Analytics
个节点组成一个 Spark 集群。我正在考虑合并两个集群以更好地利用资源。
当我在 Cassandra
节点上启用 Spark(在 /etc/dse/default
中)时,我得到了一个新的主节点,这些节点似乎没有加入与 [=11= 相同的 Spark 集群] 节点。我能否以某种方式让 Cassandra
数据中心节点加入 Analytics
Spark 集群?
因为您正在使用 GossipingPropertyFileSnitch,您还必须更改新 Spark 节点所在的 DC。否则它们将继续位于 so-named "Cassandra" 数据中心。
编辑:
您的标题问题的简短答案是 "No"。单独的 DC 分配了单独的 spark master,并且不共享 spark 作业的资源。
我是 运行 Datastax Enterprise 集群(GossipingPropertyFileSnitch
)。我有两个数据中心,Analytics
和 Cassandra
。 Analytics
个节点组成一个 Spark 集群。我正在考虑合并两个集群以更好地利用资源。
当我在 Cassandra
节点上启用 Spark(在 /etc/dse/default
中)时,我得到了一个新的主节点,这些节点似乎没有加入与 [=11= 相同的 Spark 集群] 节点。我能否以某种方式让 Cassandra
数据中心节点加入 Analytics
Spark 集群?
因为您正在使用 GossipingPropertyFileSnitch,您还必须更改新 Spark 节点所在的 DC。否则它们将继续位于 so-named "Cassandra" 数据中心。
编辑: 您的标题问题的简短答案是 "No"。单独的 DC 分配了单独的 spark master,并且不共享 spark 作业的资源。