设置火花纱客户端

Setting spark yarn client

我想做火花纱客户端(link)。需要安装hadoop吗?或者只安装纱线可以吗? ( 由此 link)

No Spark 运行ning 不需要 Hadoop。 Apache Spark 是一个独立的项目,可以 运行 独立运行。如果你愿意,你甚至可以 运行 它没有 apache 纱线。

Spark 支持 3 种类型的集群管理器,分别是 mesos、yarn 和 standalone。如果你没有安装 yarn 那么它可以使用 mesos 和 standalone 并且默认情况下它使用 standalone 当你没有提到你提到的集群 manager.Links 的任何偏好时可以使用但我认为有更多更好的资源可用在 google.