Mesos 配置与现有的 Apache Spark 独立集群

Question

我是Apache-spark的初学者！ 我已经使用 4 台 PC 设置了 Spark 独立集群。 我想将 Mesos 与现有的 Spark 独立集群一起使用。但是我读到我需要先安装 Mesos 然后再配置 spark。

我也看过Spark关于用Mesos设置的文档，但是对我没有帮助。

那么如何使用现有的 spark 独立集群配置 Mesos？

Answer 1

Mesos 是独立 Spark 管理器的替代集群管理器。你不用with，你用it instead of.

• 按照https://mesos.apache.org/gettingstarted/
创建Mesos集群
• 确保分发 Mesos 本机库在您用来提交作业的机器上可用
• 对于集群模式启动 Mesos 调度程序 (sbin/start-mesos-dispatcher.sh)。
• 使用 Mesos master URI（客户端模式）或调度程序 URI（集群模式）提交应用程序。