Spark Job Server 多线程和动态分配

Question

我对 Spark Job Server 抱有很高的期望，但发现它严重缺乏文档。

你能回答 one/all 接下来的问题吗：

1. Spark Job Server 是否通过 Spark session 提交作业？
2. 是否可以运行几个作业与 Spark Job Server 并行？ I saw people faced some troubles，我还没有看到解决方案。
3. 是否有可能 运行 几个作业与不同的 CPU、核心、执行程序配置并行？

Answer 1

1. Spark 作业服务器还不支持 SparkSession。我们会努力的。
2. 您可以创建多个上下文，也可以运行一个上下文来使用 FAIR 调度程序。
3. 使用不同的上下文和不同的资源配置。

基本上，作业服务器只是用于创建 spark 上下文的休息 API。所以你应该能够做你能用 spark context 做的事情。