如何在 Datastax 数据中心启用 Spark？

Question

我们当前的 Datastax 数据中心设置包含 6 个节点，其中 Solr 和图形启用

root@ip-10-10-5-36:~#猫/etc/default/dse | grep -E 'SOLR_ENABLED|GRAPH_ENABLED'

GRAPH_ENABLED=1
SOLR_ENABLED=1

root@ip-10-10-5-36:~#节点工具状态

Datacenter: SearchGraph
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns    Host ID                               Rack
UN  10.10.5.56  456.58 MiB  1            ?       936a1ac0-6d5e-4a94-8953-d5b5a2016b92  rack1
UN  10.10.5.46  406.24 MiB  1            ?       3f41dc2a-2672-47a1-90b5-a7c2bf17fb50  rack1
UN  10.10.5.76  392.99 MiB  1            ?       29f8fe44-3431-465e-b682-5d24e37d41d7  rack2
UN  10.10.5.66  414.16 MiB  1            ?       1f7de531-ff51-4581-bdb8-d9a686f1099e  rack2
UN  10.10.5.86  424.3 MiB   1            ?       27d37833-56c8-44bd-bac0-7511b8bd74e8  rack2
UN  10.10.5.36  511.44 MiB  1            ?       0822145f-4225-4ad3-b2be-c995cc230830  rack1

我们计划在我们现有的数据中心实施 spark。我的问题是

1)启用spark会影响datastax中现有的数据和服务吗？

2) 或者不是启用 SPARK_ENABLED=1，我们是否需要单独设置 Spark 数据中心 ?

更新：

3) DC1和DC2环状连接的方式，是否基于同一个Cluster cluster_name: 参数中指定的名称。配置文件：/etc/dse/cassandra/cassandra.yaml

4) 有没有单独的配置需要在data里指定spark master
中央。

5) 我是否需要在 Spark(DC2) 种子中指定 SearchGraph (DC1) 种子 ip
配置部分？或者只是 Spark 种子 ip 只需要在 DC2 中指定配置部分(cassandra:yaml)

Answer 1

建议为 DSE 分析创建单独的数据中心。完整过程is described in documentation.

Answer 2

为了补充 Alex 的回答，这将取决于您是否要执行图形分析。启用后将执行什么类型的 Spark 工作？

如何在 Datastax 数据中心启用 Spark？

How to enable Spark in Datastax Datacenter?

solr

datastax

datastax-enterprise

datastax-startup

datastax-enterprise-graph