如何在 Windows 7 64 位上安装 Spark 2.1.0？

Question

我正在使用 Windows 7 64 位并且正在按照 this blog 安装 Spark 2.1.0。

所以我尝试从我从 https://github.com/apache/spark 克隆到 C:\spark-2.1.0 的源构建 Spark。

当我运行 sbt assembly 或 sbt -J-Xms2048m -J-Xmx2048m assembly 时，我得到：

[info] Loading project definition from C:\spark-2.1.0\project
[info] Compiling 3 Scala sources to C:\spark-2.1.0\project\target\scala-2.10\sbt-0.13\classes...
java.lang.WhosebugError
at java.security.AccessController.doPrivileged(Native Method)
at java.io.PrintWriter.<init>(Unknown Source)
at java.io.PrintWriter.<init>(Unknown Source)
at scala.reflect.api.Printers$class.render(Printers.scala:168)
at scala.reflect.api.Universe.render(Universe.scala:59)
at scala.reflect.api.Printers$class.show(Printers.scala:190)
at scala.reflect.api.Universe.show(Universe.scala:59)
at scala.reflect.api.Printers$class.treeToString(Printers.scala:182)
...

我按照建议调整了sbt的内存设置，反正忽略了。有任何想法吗？

Answer 1

以下设置对我有用 (sbtconfig.txt)：

# Set the java args to high

-Xmx1024M

-XX:MaxPermSize=2048m

-Xss2M

-XX:ReservedCodeCacheSize=128m

# Set the extra SBT options

-Dsbt.log.format=true

Answer 2

linked 的博客 post "Posted on April 29, 2015" 现在已经 2 岁了，应该只阅读以了解自那以后事情发生了怎样的变化（我什至不打算 link 博客 post 停止将人们引导至网站）。

2017在Windows上安装Spark的方法如下：

从 http://spark.apache.org/downloads.html 下载 Spark。
从Downloading开始阅读官方文档。

就是这样。

正在 Windows

安装 Spark 由于 Hadoop 的要求，

Windows 已知会给您带来问题（并且 Spark 确实在幕后使用 Hadoop API）。

您必须安装 winutils 二进制文件，您可以在 https://github.com/steveloughran/winutils 存储库中找到它。

提示：您应该 select 编译 Spark 发行版的 Hadoop 版本，例如将 hadoop-2.7.1 用于 Spark 2.1.0。

将 winutils.exe 二进制文件保存到您选择的目录，例如c:\hadoop\bin 并定义 HADOOP_HOME 以包含 c:\hadoop.

有关进一步的步骤，请参阅 Running Spark Applications on Windows。

如何在 Windows 7 64 位上安装 Spark 2.1.0？

How to install Spark 2.1.0 on Windows 7 64-bit?

apache-spark

sbt

sbt-assembly

正在 Windows