Cloudera Hadoop 发行版是否支持 Apache Spark SQL
Does any of Cloudera Hadoop distribution supports Apache Spark SQL
我是 Apache Spark 的新手。我听说 none 的 CDH 版本目前支持 Apache Spark SQL,hortonworks 发行版也是如此。是真的吗..?
另一个是我的 PC 上安装了 CDH 5.0.0,我的 CDH 支持哪个版本的 Apache Spark..?
也有人可以向我提供在我的 CDH 发行版中执行我的 Spark 程序的步骤。我已经使用 Apache Spark 1.2 版本编写了一些基本程序,但我无法在 CDH 环境中 运行 这些程序,当我使用 spark-submit 命令 运行ning Spark 程序时,我面临着非常基本的问题
spark-submit: Command not found
我需要在 运行 我的 Spark 程序之前配置任何东西吗?
提前致谢
CDH 的所有发行版包括整个 Spark 发行版,包括 Spark SQL。
编辑:自 CDH 5 起支持。5.x。
CDH 5.0.x 包括 Spark 0.9.x。 CDH 5.3.x 包括 Spark 1.2.x 和 5.4.x 应该发布 1.3.x 因为它即将在上游发布。
如果您使用的是 CDH,spark-submit
已经是您路径的一部分。如果您 运行 来自其他地方,则必须将此文件放在您的路径上或提供完整路径。这与任何程序都一样。所以,你的设置有问题。
我是 Apache Spark 的新手。我听说 none 的 CDH 版本目前支持 Apache Spark SQL,hortonworks 发行版也是如此。是真的吗..?
另一个是我的 PC 上安装了 CDH 5.0.0,我的 CDH 支持哪个版本的 Apache Spark..?
也有人可以向我提供在我的 CDH 发行版中执行我的 Spark 程序的步骤。我已经使用 Apache Spark 1.2 版本编写了一些基本程序,但我无法在 CDH 环境中 运行 这些程序,当我使用 spark-submit 命令 运行ning Spark 程序时,我面临着非常基本的问题
spark-submit: Command not found
我需要在 运行 我的 Spark 程序之前配置任何东西吗?
提前致谢
CDH 的所有发行版包括整个 Spark 发行版,包括 Spark SQL。
编辑:自 CDH 5 起支持。5.x。
CDH 5.0.x 包括 Spark 0.9.x。 CDH 5.3.x 包括 Spark 1.2.x 和 5.4.x 应该发布 1.3.x 因为它即将在上游发布。
如果您使用的是 CDH,spark-submit
已经是您路径的一部分。如果您 运行 来自其他地方,则必须将此文件放在您的路径上或提供完整路径。这与任何程序都一样。所以,你的设置有问题。