我可以使用 Apache Spark Standalone 版本分发工作吗?

Can I distribute work with Apache Spark Standalone version?

我听到人们谈论 "Apache Standalone Cluster",这让我很困惑,因为我将 "cluster" 理解为通过潜在快速网络连接并并行工作的各种机器,而 "standalone" 作为孤立的机器或程序。那么问题来了,Apache Standalone 可以跨网络做分布式工作吗?如果可以,那么与非独立版本有什么区别?

Standalone(不要误认为 local)在 Spark 中意味着您不使用外部资源管理(YARN、Mesos),而是使用 Spark 自己的资源管理实用程序。它可以像其他集群管理器上的 Spark 一样分布。

local 模式下的 Spark 在单个 JVM 上运行。它不能分布式(但是,在单台机器的限制下仍然与线程和进程并行)仅对开发有用。