是否可以在一个 mesos 集群上 运行 多个 Spark 应用程序？
Is it possible to run multiple Spark applications on a mesos cluster?
我有一个 Mesos 集群，有 1 个主节点和 3 个从节点（每个有 2 个内核和 4GB RAM），它有一个 Spark 应用程序已经启动并且 运行ning。我想 运行 同一集群上的另一个应用程序，因为 CPU 并且内存利用率不高。无论如何，当我尝试 运行 新应用程序时，出现错误：
16/02/25 13:40:18 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
我猜新进程没有得到任何 CPU 因为旧进程占据了全部 6 个。
我尝试启用动态分配，使 spark 应用程序变得细粒度。分配执行器核心和执行器数量的多种组合。我在这里缺少什么？是否有可能 运行 具有多个 Spark 框架的 Mesos 集群？
您可以尝试设置spark.cores.max来限制每个Spark驱动使用的CPU数量，这样可以释放一些资源。
文档：https://spark.apache.org/docs/latest/configuration.html#scheduling
我有一个 Mesos 集群，有 1 个主节点和 3 个从节点（每个有 2 个内核和 4GB RAM），它有一个 Spark 应用程序已经启动并且 运行ning。我想 运行 同一集群上的另一个应用程序，因为 CPU 并且内存利用率不高。无论如何，当我尝试 运行 新应用程序时，出现错误：
16/02/25 13:40:18 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
我猜新进程没有得到任何 CPU 因为旧进程占据了全部 6 个。 我尝试启用动态分配，使 spark 应用程序变得细粒度。分配执行器核心和执行器数量的多种组合。我在这里缺少什么？是否有可能 运行 具有多个 Spark 框架的 Mesos 集群？
您可以尝试设置spark.cores.max来限制每个Spark驱动使用的CPU数量，这样可以释放一些资源。
文档：https://spark.apache.org/docs/latest/configuration.html#scheduling