为 Apache TinkerPop 的 Spark-Gremlin 指定工作池 - DataStax-Enterprise Graph-Analytics

Question

我需要为运行 gremlin olap 查询指定一个特定的工作池。当我使用 gremlin 控制台或 datastax studio 运行 gremlin olap 查询时，它运行在默认池下（这不是我想要的）。我想运行特定工作池下的 gremlin olap 查询，例如gremlin_olap 或者能够指定内存和执行器。我在dse.yaml（在resources/dse/conf位置）和olap.properties（在resources/graph/conf位置）尝试了一些设置，我重新启动集群仍然无法强制使用 gremlin_olap 工作池。

olap.properties

spark.scheduler.pool=gremlin_olap
spark.executor.cores=2
spark.executor.memory=2g

dse.yaml

resource_manager_options:
    worker_options:
        cores_total: 0.7
        memory_total: 0.6

        workpools:
            - name: alwayson_sql
              cores: 0.25
              memory: 0.25
            - name: gremlin_olap
              cores: 0.25
              memory: 0.25

Gremlin 控制台 bin/dse gremlin 控制台

         \,,,/
         (o o)
-----oOOo-(3)-oOOo-----
plugin activated: tinkerpop.server
plugin activated: tinkerpop.tinkergraph
gremlin> :remote config alias g identity.a
==>g=identity.a
gremlin> g.V().groupCount().by(label)
==>{identity=50000}
gremlin>

我是不是漏掉了什么？

Answer 1

这些指导应该有所帮助：

https://docs.datastax.com/en/dse/6.8/dse-dev/datastax_enterprise/graph/graphAnalytics/graphAnalyticsSparkGraphComputer.html#SettingSparkpropertiesfromGremlin

这并没有完全创建一个 Spark 资源池——但它确实影响了 Gremlin OLAP Spark 应用程序将使用的资源——它在 DSE Graph 中的工作方式是永远只会有一个这些应用程序旋转起来，所以它和拥有Spark资源池一样的效果。

为 Apache TinkerPop 的 Spark-Gremlin 指定工作池 - DataStax-Enterprise Graph-Analytics

Specify worker pool for Apache TinkerPop's Spark-Gremlin - DataStax-Enterprise Graph-Analytics

datastax

datastax-enterprise

datastax-enterprise-graph