dse spark-submit 到特定的工作池而不是 "default"

Question

我能够从 https://github.com/datastax/SparkBuildExamples/tree/master/scala/sbt/dse/src/main/scala/com/datastax/spark/example

成功构建示例项目

我也提交dse spark-submit成功了。程序运行良好，结果符合预期

dse spark-submit --class com.datastax.spark.example.WriteRead target/writeRead-0.1.jar

我现在希望将上述作业提交到 dse.yaml

中配置的现有池中

resource_manager_options:
worker_options:
    cores_total: 6
    memory_total: 32G
    workpools:
        - name: alwayson_sql
          cores: 2
          memory: 4G
        - name: pool_1
          cores: 2
          memory: 16G

我无法确定 how/what 代码更改或 spark-submit 我应该做些什么才能将应用程序提交到池中 "pool_1"

申请提交到默认池，我无法提交到"pool_1"。

请帮忙。

Answer 1

经过一些额外的研究，我找到了 dse spark-submit 使用池的正确方法 "pool_1"

 bin/dse spark-submit \
 --master dse://?workpool=pool_1 \
 --conf spark.network.timeout=500 \
 --class com.datastax.spark.example.WriteRead target/writeRead-0.1.jar

（根据 Alex 的输入）DSE 文档： Documentation link

dse spark-submit 到特定的工作池而不是 "default"

dse spark-submit to specific work pool instead of "default"

apache-spark

datastax

datastax-enterprise