如何在 Datastax 数据中心启用 Spark?
How to enable Spark in Datastax Datacenter?
我们当前的 Datastax 数据中心设置包含 6 个节点,其中 Solr 和图形
启用
root@ip-10-10-5-36:~#猫/etc/default/dse | grep -E 'SOLR_ENABLED|GRAPH_ENABLED'
GRAPH_ENABLED=1
SOLR_ENABLED=1
root@ip-10-10-5-36:~#节点工具状态
Datacenter: SearchGraph
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
-- Address Load Tokens Owns Host ID Rack
UN 10.10.5.56 456.58 MiB 1 ? 936a1ac0-6d5e-4a94-8953-d5b5a2016b92 rack1
UN 10.10.5.46 406.24 MiB 1 ? 3f41dc2a-2672-47a1-90b5-a7c2bf17fb50 rack1
UN 10.10.5.76 392.99 MiB 1 ? 29f8fe44-3431-465e-b682-5d24e37d41d7 rack2
UN 10.10.5.66 414.16 MiB 1 ? 1f7de531-ff51-4581-bdb8-d9a686f1099e rack2
UN 10.10.5.86 424.3 MiB 1 ? 27d37833-56c8-44bd-bac0-7511b8bd74e8 rack2
UN 10.10.5.36 511.44 MiB 1 ? 0822145f-4225-4ad3-b2be-c995cc230830 rack1
我们计划在我们现有的数据中心实施 spark。我的问题是
1)启用spark会影响datastax中现有的数据和服务吗?
2) 或者不是启用 SPARK_ENABLED=1,我们是否需要单独设置
Spark 数据中心 ?
更新:
3) DC1和DC2环状连接的方式,是否基于同一个Cluster
cluster_name: 参数中指定的名称。
配置文件:/etc/dse/cassandra/cassandra.yaml
4) 有没有单独的配置需要在data里指定spark master
中央。
5) 我是否需要在 Spark(DC2) 种子中指定 SearchGraph (DC1) 种子 ip
配置部分?或者只是 Spark 种子 ip 只需要在 DC2 中指定
配置部分(cassandra:yaml)
建议为 DSE 分析创建单独的数据中心。完整过程is described in documentation.
为了补充 Alex 的回答,这将取决于您是否要执行图形分析。启用后将执行什么类型的 Spark 工作?
我们当前的 Datastax 数据中心设置包含 6 个节点,其中 Solr 和图形 启用
root@ip-10-10-5-36:~#猫/etc/default/dse | grep -E 'SOLR_ENABLED|GRAPH_ENABLED'
GRAPH_ENABLED=1
SOLR_ENABLED=1
root@ip-10-10-5-36:~#节点工具状态
Datacenter: SearchGraph
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
-- Address Load Tokens Owns Host ID Rack
UN 10.10.5.56 456.58 MiB 1 ? 936a1ac0-6d5e-4a94-8953-d5b5a2016b92 rack1
UN 10.10.5.46 406.24 MiB 1 ? 3f41dc2a-2672-47a1-90b5-a7c2bf17fb50 rack1
UN 10.10.5.76 392.99 MiB 1 ? 29f8fe44-3431-465e-b682-5d24e37d41d7 rack2
UN 10.10.5.66 414.16 MiB 1 ? 1f7de531-ff51-4581-bdb8-d9a686f1099e rack2
UN 10.10.5.86 424.3 MiB 1 ? 27d37833-56c8-44bd-bac0-7511b8bd74e8 rack2
UN 10.10.5.36 511.44 MiB 1 ? 0822145f-4225-4ad3-b2be-c995cc230830 rack1
我们计划在我们现有的数据中心实施 spark。我的问题是
1)启用spark会影响datastax中现有的数据和服务吗?
2) 或者不是启用 SPARK_ENABLED=1,我们是否需要单独设置 Spark 数据中心 ?
更新:
3) DC1和DC2环状连接的方式,是否基于同一个Cluster cluster_name: 参数中指定的名称。 配置文件:/etc/dse/cassandra/cassandra.yaml
4) 有没有单独的配置需要在data里指定spark master
中央。
5) 我是否需要在 Spark(DC2) 种子中指定 SearchGraph (DC1) 种子 ip
配置部分?或者只是 Spark 种子 ip 只需要在 DC2 中指定
配置部分(cassandra:yaml)
建议为 DSE 分析创建单独的数据中心。完整过程is described in documentation.
为了补充 Alex 的回答,这将取决于您是否要执行图形分析。启用后将执行什么类型的 Spark 工作?