运行 使用 Scala 2.11 在独立模式下使用 Spark?

Run Spark in standalone mode with Scala 2.11?

我按照说明使用 Scala 2.11 构建 Spark:

mvn -Dscala-2.11 -DskipTests clean package

然后我按照说明启动:

./sbin/start-master.sh

失败,日志文件中有两行:

Failed to find Spark assembly in /etc/spark-1.2.1/assembly/target/scala-2.10
You need to build Spark before running this program.

显然,它正在寻找 scala-2.10 版本,但我找到了 scala-2.11 版本。我尝试了明显的 -Dscala-2.11 标志,但这并没有改变任何东西。文档没有提及如何使用 scala 2.11 在独立模式下 运行。

提前致谢!

在构建之前你必须运行下面的脚本:

dev/change-version-to-2.11.sh

应该用 2.11 替换对 2.10 的引用。

Note that this will not necessarily work as intended with non-GNU sed (e.g. OS X)